sjero.net Git - wget/blob - src/ChangeLog

   1 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
   2
   3         * utils.c (wtimer_sys_diff): Convert the time difference to signed
   4         __int64, then to double.  This works around MS VC++ 6 which can't
   5         convert unsigned __int64 to double directly.
   6
   7 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
   8
   9         * Makefile.in (clean): Also remove the core.<number> files
  10         produced by recent Linux systems.
  11
  12 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
  13
  14         * http.c (post_file): Don't pad the file if it's not large
  15         enough.  Bail out instead.
  16
  17 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
  18
  19         * retr.c (get_contents): Reduce the buffer size to the amount of
  20         data that may pass through for one second.  This prevents long
  21         sleeps when limiting bandwidth.
  22
  23         * connect.c (connect_to_one): Reduce the socket's RCVBUF when
  24         bandwidth limitation to small values is requested.
  25
  26 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
  27
  28         * progress.c (update_speed_ring): Moved the speed ring update to a
  29         separate function and documented it better.
  30
  31         * progress.c: Use `double' for most timers to support granularity
  32         smaller than 1ms.
  33
  34 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
  35
  36         * wget.h (XDIGIT_TO_XCHAR): Implement as index into a literal
  37         string.
  38         (XDIGIT_TO_xchar): Ditto.
  39
  40 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
  41
  42         * utils.c: Change the type of timer-related functions from long to
  43         double, for better precision.  On machines supporting gettimeofday
  44         the timers now work with granularity of less than one millisecond.
  45
  46 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
  47
  48         * cookies.c (parse_set_cookies): Fixed the parser to handle more
  49         edge conditions.
  50         (test_cookies): New function, contains a test suite for
  51         parse_set_cookies.
  52
  53 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
  54
  55         * url.c (strpbrk_or_eos): Implement as a macro under Gcc.
  56
  57 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
  58
  59         * cookies.c (parse_set_cookies): Allow trailing space in
  60         set-cookies header.  Also, allow any amount of whitespace, not
  61         only one character.  Allow empty set-cookies header without
  62         spewing an error.
  63
  64 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
  65
  66         * url.c (append_uri_pathel): Use opt.restrict_file_names when
  67         calling file_unsafe_char.
  68
  69         * init.c: New command restrict_file_names.
  70
  71         * main.c (main): New option --restrict-file-names[=windows,unix].
  72
  73         * url.c (url_file_name): Renamed from url_filename.
  74         (url_file_name): Add directory and hostdir prefix here, not in
  75         mkstruct.
  76         (append_dir_structure): New function, does part of the work that
  77         used to be in mkstruct.  Iterates over path elements in u->path,
  78         calling append_uri_pathel on each one to append it to the file
  79         name.
  80         (append_uri_pathel): URL-unescape a path element and reencode it
  81         with a different set of rules, more appropriate for handling of
  82         files.
  83         (file_unsafe_char): New function, uses a lookup table to decide
  84         whether a character should be escaped for use in file name.
  85         (append_string): New utility function.
  86         (append_char): Ditto.
  87         (file_unsafe_char): New argument restrict_for_windows, decide
  88         whether Windows file names should be escaped in run-time.
  89
  90         * connect.c: Include <stdlib.h> to get prototype for abort().
  91
  92 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
  93
  94         * utils.c (wtimer_sys_set): Extracted the code that sets the
  95         current time here.
  96         (wtimer_reset): Call it.
  97         (wtimer_sys_diff): Extracted the code that calculates the
  98         difference between two system times here.
  99         (wtimer_elapsed): Call it.
 100         (wtimer_elapsed): Don't return a value smaller than the previous
 101         one, which could previously happen when system time is set back.
 102         Instead, reset start time to current time and note the elapsed
 103         offset for future calculations.  The returned times are now
 104         guaranteed to be monotonically nondecreasing.
 105
 106 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
 107
 108         * host.c (lookup_host): Print the result of the DNS lookup.
 109
 110 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
 111
 112         * init.c (cmd_boolean): Accept yes/no along with on/off.
 113         (cmd_lockable_boolean): Ditto.
 114
 115 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
 116
 117         * init.c: New command dns_cache.
 118
 119         * main.c (main): New option --dns-cache[=off].
 120
 121 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
 122
 123         * config.h.in: Initialize HAVE_GETADDRINFO and ENABLE_IPV6.
 124
 125         * all: Use #ifdef ENABLE_IPV6 instead of the older INET6.  Use
 126         HAVE_GETADDRINFO for getaddrinfo-related stuff.
 127
 128 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
 129
 130         * url.c (url_parse): Return an error if the URL contains a [...]
 131         IPv6 numeric address and we don't support IPv6.
 132
 133 2003-09-05  Hrvoje Niksic  <hniksic@xemacs.org>
 134
 135         * url.c (is_valid_ipv6_address): Modified to not require
 136         zero-terminated strings.
 137         (is_valid_ipv4_address): Ditto.
 138
 139 2003-09-05  Mauro Tortonesi <mauro@deepspace6.net>
 140
 141         src/url.c: added RFC 2732 compliance for URL parsing. The
 142         functions is_*_address valid are a modified version of
 143         glibc 2.3.2 inet_pton's code.
 144
 145 2003-09-03  Ahmon Dancy  <dancy@dancysoft.com>
 146
 147         * main.c init.c options.h: Added --retry-connrefused option so
 148         that Connection Refused failures are treated as non-fatal (when
 149         trying to retrieve from busy servers).
 150
 151         * wget.h: New CONNECT_ERROR macro for encapsulating this
 152         modification.
 153
 154         * ftp.c http.c : Use CONNECT_ERROR macro in places where
 155         ECONNREFUSED was checked.
 156
 157 2003-01-11  Ian Abbott  <abbotti@mev.co.uk>
 158
 159         * ftp.c (ftp_retrieve_glob): Reject insecure filenames as determined
 160         by calling new function has_insecure_name_p.  This is based on a
 161         patch by Red Hat.
 162
 163         * fnmatch.c (has_insecure_name_p): New function: returns non-zero
 164         if filename starts with `/' or contains `../' and is therefore
 165         considered insecure.
 166
 167         * fnmatch.h: Declare has_insecure_name_p().
 168
 169 2002-08-03  Hrvoje Niksic  <hniksic@xemacs.org>
 170
 171         * init.c (cmd_file): Allocate RESULT correctly.
 172
 173 2002-07-24  Hrvoje Niksic  <hniksic@xemacs.org>
 174
 175         * recur.c (retrieve_tree): Check whether downloaded_html_set is
 176         non-NULL before using it.
 177
 178 2002-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
 179
 180         * html-parse.c (NAME_CHAR_P): Allow almost any character here.
 181
 182 2002-05-24  Hrvoje Niksic  <hniksic@arsdigita.com>
 183
 184         * progress.c (bar_set_params): Fall back to dot progress if the
 185         terminal type is "emacs".
 186
 187 2002-05-20  Hrvoje Niksic  <hniksic@arsdigita.com>
 188
 189         * log.c: Don't #undef WGET_USE_STDARG.
 190
 191 2002-05-16  Hrvoje Niksic  <hniksic@arsdigita.com>
 192
 193         * hash.c (prime_size): Store the offset of the prime number in the
 194         prime table.  When searching, start with the given offset.
 195         (hash_table_new): Pass the pointer to ht->prime_offset to
 196         prime_size.
 197         (grow_hash_table): Ditto.
 198         (prime_size): Make 13 the first prime to make empty hash tables
 199         slightly smaller.
 200
 201 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
 202
 203         * recur.c (download_child_p): Minor optimization to avoid an
 204         unnecessary additional call to schemes_are_similar_p function.
 205
 206 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
 207
 208         * url.c (schemes_are_similar_p): New function to test enumerated
 209         scheme codes for similarity.
 210
 211         * url.h: Declare it.
 212
 213         * recur.c (download_child_p): Use it to compare schemes.  This
 214         also fixes a bug that allows hosts to be spanned (without the
 215         -H option) when the parent scheme is https and the child's is
 216         http or vice versa.
 217
 218 2002-05-14  Bill Richardson  <bill@riverstonenet.com>
 219
 220         * ftp.c (getftp): Don't ftruncate stdout.
 221
 222         * http.c (gethttp): Don't ftruncate stdout.
 223
 224 2002-05-09  Ian Abbott  <abbotti@mev.co.uk>
 225
 226         * cmpt.c (strptime_internal): Synched with glibc-2.1.3.
 227         (get_number): Ditto.
 228         (get_alt_number): Ditto.
 229         (__isleap): New function-like macro used by strptime.
 230         (day_of_the_week): New function used by strptime.
 231         (day_of_the_year): Ditto.
 232         (__mon_yday): Now shared by mktime and strptime implementations.
 233
 234 2002-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
 235
 236         * cookies.c (check_domain_match): Use match_tail in case
 237         insensitive mode.
 238
 239         * utils.c (match_tail): Allow the caller to specify case
 240         insensitive mode.
 241
 242         * cookies.c (store_cookie): When expiry_time is 0, print it as
 243         undefined, not indefinite.
 244
 245 2002-05-07  Ian Abbott  <abbotti@mev.co.uk>
 246
 247         * cookies.c (cookie_jar_process_set_cookie): Do not store
 248         discarded cookie.
 249
 250 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
 251
 252         * cookies.c (check_domain_match): Allow cookies to be set for
 253         subdomains of unknown top-level domains under some circumstances.
 254
 255 2002-04-21  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
 256
 257         * gen_ssl.c:
 258         - allow checking of server cert
 259         - allow defining client cert type
 260         - allow limit of ssl protocol
 261         - check more return values
 262         - added debug message on break
 263
 264 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
 265
 266         * recur.c (download_child_p): Revert order of items in check
 267         number 6 for clarity.
 268
 269 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
 270
 271         * init.c: Ditto.
 272
 273         * main.c: Ditto.
 274
 275         * http.c: Use the new interface.
 276
 277         * cookies.c: Provide an OO-style "cookie jar" interface to enable
 278         separate cookie jars.
 279
 280         * http.c (http_atotm): Declare argument as const.
 281
 282 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
 283
 284         * cookies.c (cookie_new): Default to PORT_ANY.
 285         (find_cookie_chain_exact): Only search by DOMAIN.
 286         (find_matching_cookie): Also check that PORT matches.
 287         (store_cookie): Only match the domain.
 288         (set_cookie_header_cb): When a cookie "fakes" a domain, assume it
 289         is valid for that host rather than discarding it completely.
 290         (find_matching_chains): Don't search by PORT.
 291         (matching_cookie): Also match PORT.
 292         (load_cookies): Set the port if specified, otherwise leave it as
 293         ANY.
 294         (save_cookies_mapper): Save the port if specified, otherwise leave
 295         it empty.
 296
 297 2002-04-19  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
 298
 299         * init.c: The option `egdfile' was not in sort order.
 300
 301 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
 302
 303         * ftp.c (getftp): Treat directories that begin with <letter>: as
 304         absolute.
 305         (getftp): Strip trailing slashes from con->id before merging it
 306         with TARGET.
 307
 308 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
 309
 310         * http.c (gethttp): If Content-Type is not given, assume
 311         text/html.
 312
 313 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
 314
 315         * recur.c (download_child_p): Don't ignore rejection of HTML
 316         documents that are themselves leaves of recursion.
 317
 318 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
 319
 320         Makefile.in: Updated several dependencies for object files to take
 321         account of nested include files.
 322
 323 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
 324
 325         Makefile.in: The target `connect$o' (connect.o) now depends on
 326         `utils.h'
 327
 328 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
 329
 330         * host.c (SET_H_ERRNO): New function-like macro to set `h_errno'.
 331         (gethostbyname_with_timeout): Use it.
 332
 333         * utils.c: Don't define `SETJMP()', `run_with_timeout_env' or
 334         `abort_run_with_timeout()' when `USE_SIGNAL_TIMEOUT' is undefined.
 335
 336 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
 337
 338         * host.c (getaddrinfo_with_timeout): New function.
 339         (gethostbyname_with_timeout): Ditto.
 340         (lookup_host): Use them.
 341
 342 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
 343
 344         * utils.c (number_to_string): Handle the case when n < -INT_MAX.
 345
 346 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
 347
 348         * init.c (comind): Use a marginally faster implementation of
 349         binary search.  To quote Martin Buchholz, "a nanosecond saved is a
 350         nanosecond earned."
 351
 352 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
 353
 354         * main.c (print_help): Document `--post-data' and `--post-file'.
 355
 356 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
 357
 358         * http.c (gethttp): Ditto.
 359
 360         * retr.c (retrieve_url): Initialize variables to appease the
 361         compiler.
 362
 363         * gen_sslfunc.c (ssl_iread): Don't handle EINTR when calling
 364         select_fd.
 365         (ssl_iwrite): Ditto.
 366
 367         * connect.c (select_fd): Rewrite to handle EINTR.  Set errno to
 368         ETIMEDOUT in case of timeout.
 369         (iread): No need to handle EINTR when calling select_fd.
 370         (iwrite): Ditto.
 371
 372 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
 373
 374         * retr.c (retrieve_url): Make sure that POST is not honored for
 375         redirections.
 376
 377         * http.c (gethttp): Send the POST data when requested.
 378         (post_file): New function.
 379         (gethttp): Use it.
 380
 381         * main.c (main): Ditto.
 382
 383         * init.c: Add new options.
 384
 385         * options.h (struct options): New options post_data and
 386         post_file_name.
 387
 388 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
 389
 390         * connect.c (connect_with_timeout): Firing SIGALRM can result in
 391         connect() exiting with EINTR.  Treat EINTR the same as ETIMEDOUT.
 392
 393 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
 394
 395         * connect.c (connect_with_timeout): Use it.
 396
 397         * utils.c (run_with_timeout): New function.
 398
 399 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
 400
 401         * url.c (getproxy): Accept a struct url argument.  This obviates
 402         the need for USE_PROXY_P.
 403
 404         * retr.c (retrieve_url): Allow proxy to be a non-FTP URL.
 405
 406         * ftp.c (getftp): Recognize FWTK-style proxy.
 407
 408 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
 409
 410         * config.h.in: Only define _VA_LIST when compiled with gcc.
 411
 412 2002-04012  Ian Abbott  <abbotti@mev.co.uk>
 413
 414         * http.c (http_loop): Compensate for MS Windows two-second
 415         granularity of file modification time when comparing timestamps.
 416
 417         * ftp.c (ftp_retrieve_list): Ditto.
 418
 419 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
 420
 421         * utils.c (has_html_suffix_p): New function to test filename for
 422         common html extensions.
 423
 424         * utils.h: Declare it.
 425
 426         * http.c (http_loop): Use it instead of previous test.
 427
 428         * retr.c (retrieve_url): Ditto.
 429
 430         * recur.c (download_child_p): Ditto.
 431
 432 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
 433
 434         * config.h.in: Define _VA_LIST on Solaris to prevent stdio.h from
 435         declaring va_list.
 436         From Kevin Rodgers <kevinr@ihs.com>.
 437
 438 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
 439
 440         * Makefile.in: Specify libtool mode explicitly when linking.
 441
 442 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
 443
 444         * connect.c (connect_with_timeout): New function.
 445         (connect_to_one): Use it.
 446
 447         * config.h.in: Add stubs for HAVE_SIGSETJMP, HAVE_SIGBLOCK, and
 448         HAVE_SETJMP_H.
 449
 450 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
 451
 452         * log.c: Set WGET_USE_STDARG if __STDC__ is defined and stdarg.h
 453         is present.
 454
 455 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
 456
 457         * progress.c (bar_create): If INITIAL is larger than TOTAL, fix
 458         TOTAL.
 459         (bar_finish): Likewise.
 460
 461 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
 462
 463         * html-url.c (tag_handle_form): New function.  Pick up form
 464         actions and mark them for conversion only.
 465
 466 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
 467
 468         * progress.c (struct progress_implementation): Use PARAMS when
 469         declaring the parameters of *create, *update, *finish, and
 470         *set_params.
 471
 472         * netrc.c: Ditto.
 473
 474         * http.c: Reformat some function definitions so that ansi2knr can
 475         read them.
 476
 477         * hash.c (struct hash_table): Use the PARAMS macro around
 478         parameters in the declaration of hash_function and test_function.
 479         (prime_size): Spell 2580823717UL and 3355070839UL as (unsigned
 480         long)0x99d43ea5 and (unsigned long)0xc7fa5177 respectively, so
 481         that pre-ANSI compilers can read them.
 482         (find_mapping): Use PARAMS when declaring EQUALS.
 483         (hash_table_put): Ditto.
 484
 485         * ftp.h: Wrap the parameters of ftp_index declaration in PARAMS.
 486
 487         * cookies.c (cookie_new): Use (unsigned long)0 instead of 0UL,
 488         which was unsupported by pre-ANSI compilers.
 489
 490         From Nelson H. F. Beebe <beebe@math.utah.edu>, for the most part.
 491
 492 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
 493
 494         * url.c (url_filename): Use compose_file_name regardless of
 495         whether opt.dirstruct is set.
 496         (mkstruct): Don't handle the query and the reencoding of DIR; that
 497         is done in compose_file_name.
 498
 499 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
 500
 501         * wget.h: Ditto for extern char *exec_name.
 502
 503         * options.h: Don't guard against OPTIONS_DEFINED_HERE -- it is
 504         perfectly legal to follow an `extern' with a non-`extern' ones,
 505         provided the types match.
 506
 507         * main.c: Don't define OPTIONS_DEFINED_HERE.
 508
 509 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
 510
 511         * progress.c (create_image): Revert to calculating ETA based on
 512         average download speed.
 513         (create_image): Don't print ETA until the download has been active
 514         for at least 3 seconds.
 515         (create_image): When ETA is not available, don't print anything.
 516         The previous version would print --:--.
 517
 518 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
 519
 520         * progress.c (bar_update): Keep updating a subinterval until it
 521         reaches or exceeds a watermark.  That way the measurement will be
 522         guaranteed to span a configurable minimum of time.  The current
 523         default is 3s in 30 100ms intervals.
 524
 525 2002-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
 526
 527         * progress.c (bar_update): Maintain an array of the time it took
 528         to perform previous 30 network reads.
 529         (create_image): Calculate the download speed and ETA based on the
 530         last 30 reads, not the entire download.
 531         (create_image): Make sure that the ETA is not changed more than
 532         once per second.
 533
 534 2002-04-09  Ian Abbott  <abbotti@mev.co.uk>
 535
 536         * mswindows.c (borland_utime): New function conditionally defined
 537         when `HACK_BCC_UTIME_BUG' is defined.  A reimplementation of
 538         `utime()' as Borland's `utime()' function is broken on Windows 9x
 539         systems.  (Original patch by Chin-yuan Kuo <sr1111111@yahoo.com.tw>.)
 540
 541 2002-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
 542
 543         * ftp.c (ftp_loop): Propagate the result of ftp_retrieve_glob.
 544
 545 2002-03-26  Ian Abbott  <abbotti@mev.co.uk>
 546
 547         * Makefile.in: Updated several dependencies for object files.
 548
 549 2002-03-20  Ian Abbott  <abbotti@mev.co.uk>
 550
 551         * mswindows.c: Include "utils.h".
 552
 553 2002-03-18  Ian Abbott  <abbotti@mev.co.uk>
 554
 555         * host.h: Don't include netdb.h on windows.
 556
 557 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
 558
 559         * recur.c (retrieve_tree): Handle the case when start_url doesn't
 560         parse.
 561
 562 2002-02-19  Andreas Damm  <andreas-sourceforge@radab.org>
 563
 564         * wget.h (DO_REALLOC_FROM_ALLOCA): Multiply with sizeof(type) when
 565         calling xmalloc and memcpy.
 566
 567 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
 568
 569         * host.h: Include Unix-specific includes #ifndef WINDOWS.
 570         Patch originally provided by Christian Lackas.
 571
 572 2002-02-11  Christian Lackas  <delta@lackas.net>
 573
 574         * recur.c: recurive downloading for https fixed.
 575
 576 2002-02-19  Alan Eldridge  <alane@geeksrus.net>
 577
 578         * host.h: Also include <netinet/in.h> and <sys/socket.h>.
 579
 580         * ftp-basic.c: Also include <netinet/in.h>.
 581
 582 2002-02-05  Ian Abbott  <abbotti@mev.co.uk>
 583
 584         * http.c (gethttp): when -c used, mark already fully retrieved
 585         file as successfully retrieved.
 586
 587 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
 588
 589         * url.c (url_parse): Don't treat '?' as query string separator
 590         when parsing FTP URLs.
 591
 592 2002-02-01  Hrvoje Niksic  <hniksic@arsdigita.com>
 593
 594         * html-url.c (tag_handle_meta): Don't crash on <meta
 595         http-equiv=refresh> where content is missing.
 596
 597 2002-01-31  Herold Heiko  <Heiko.Herold@previnet.it>
 598
 599         * ftp-basic.c, host.c: don't include sys/socket.h, arpa/inet.h,
 600         netdb.h on windows.
 601
 602 2002-01-30  Hrvoje Niksic  <hniksic@arsdigita.com>
 603
 604         * retr.c (retrieve_url): Remove redirection cycle detection.  This
 605         is because some sites legitimately redirect the user back to the
 606         same location, e.g. after an authorization check performed by
 607         another page.  MAX_REDIRECTIONS is still used to prevent infinite
 608         redirection loops.
 609
 610 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
 611
 612         * http.c (gethttp): Wrap host name in square brackets if it
 613         contains a colon.
 614
 615 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
 616
 617         * url.c (url_parse): Allow all hex digits, not only decimal ones,
 618         to form an IP address.
 619
 620 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
 621
 622         * url.c (urlchr_table): Make square braces reserved, so we can
 623         parse http://[::1]/.
 624         (url_parse): Handle host in braces.
 625         (url_string): If url->host contains colons, wrap it in braces.
 626
 627 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
 628
 629         * connect.c (resolve_bind_address): New function.
 630         (connect_to_one): Use it.
 631         (bindport): Ditto.
 632
 633         * init.c: Don't resolve bind-address here.
 634
 635         * host.c (wget_sockaddr_set_address): Would bug out with ADDR == NULL.
 636
 637 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
 638
 639         * host.c (lookup_host): Use sizeof(ip4_address) to calculate the
 640         offset.
 641         (address_list_new): Use map_ipv4_to_ip.
 642         (wget_sockaddr_set_address): Convert ADDR to IPv4 before using it
 643         in IPv4 context.
 644
 645 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
 646
 647         * source: Integrated IPv6 support.
 648         Written by Thomas Lussnig <thomas.lussnig@bewegungsmelder.de>.
 649
 650 2002-01-15  Ian Abbott  <abbotti@mev.co.uk>
 651
 652         * init.c (cmd_file): Change `\' to `/' for Windows (yes, really!)
 653         (cmd_directory): New function. Like cmd_file(), but strips
 654         trailing directory separators.
 655         (commands): Change action for "dirprefix" from `cmd_file' to
 656         `cmd_directory'.
 657
 658         * utils.c (make_directory): Allow intermediate `mkdir' calls to
 659         fail, as not all path components that do not exist should be
 660         directory components, especially under Windows.
 661
 662 2002-01-17  Hrvoje Niksic  <hniksic@arsdigita.com>
 663
 664         * netrc.c (parse_netrc): Skip leading whitespace before testing
 665         whether the line is empty.  Empty lines still contain the line
 666         terminator.
 667
 668 2002-01-15  Hrvoje Niksic  <hniksic@arsdigita.com>
 669
 670         * gen_sslfunc.c (ssl_iread): Call select on the file descriptor
 671         only if no data is pending in SSL buffers.
 672         From tony@bluetail.com.
 673
 674 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
 675
 676         * headers.c (header_get): Strip trailing whitespace from the
 677         header.
 678
 679 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
 680
 681         * url.c (parse_uname): URL-decode *USER and *PASSWD.
 682
 683 2002-01-07  Ian Abbott <abbotti@mev.co.uk>
 684
 685         * url.c (uri_merge_1): Deal with "net path" relative URL (one that
 686         starts with "//").
 687
 688 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
 689
 690         * http.c (gethttp): Invalidate SOCK if get_contents encountered an
 691         error.
 692
 693 2001-12-24  Hrvoje Niksic  <hniksic@arsdigita.com>
 694
 695         * version.c: Wget 1.8.1 is released.
 696
 697 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
 698
 699         * version.c: Wget 1.8.1-pre3 is released.
 700
 701 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
 702
 703         * recur.c (retrieve_tree): Enqueue the canonical representation of
 704         start_url, so that the test against dl_url_file_map works.
 705
 706 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
 707
 708         * log.c (logputs): Check for requested verbosity before printing
 709         anything.
 710
 711 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
 712
 713         * html-url.c (tag_handle_link): Treat the "shortcut icon" link as
 714         inline.
 715
 716 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
 717
 718         * recur.c (retrieve_tree): Make a copy of file obtained from
 719         dl_url_file_map because the code calls xfree(file) later.
 720
 721 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
 722
 723         * recur.c (register_html): Maintain a hash table of HTML files
 724         along with the list.  Disallow duplicates.
 725         (retrieve_tree): Use downloaded_html_set to check whether the file
 726         found in dl_url_file_map is an HTML file, and descend into it if
 727         so.
 728         (convert_all_links): Don't guard against duplicates in
 729         downloaded_html_list, since they are no longer possible.
 730
 731 2001-12-18  Ian Abbott  <abbotti@mev.co.uk>
 732
 733         * recur.c (retrieve_tree): Pass on referring URL when retrieving
 734         recursed URL.
 735
 736 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
 737
 738         * version.c: Wget 1.8.1-pre2 is released.
 739
 740 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
 741
 742         * retr.c (sleep_between_retrievals): Simplify indentation.
 743
 744 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
 745
 746         * gen_sslfunc.c (ssl_init_prng): Use random_number to get a byte
 747         of "randomness" at a time.
 748         (ssl_init_prng): Don't seed the PRNG; random_number will do that.
 749
 750         * retr.c (sleep_between_retrievals): Use it.  Make sure that the
 751         random amount averages in opt.wait.
 752         (sleep_between_retrievals): Don't seed the PRNG; random_number
 753         will do that.
 754
 755         * utils.c (random_number): New function.
 756
 757 2001-12-14  Hrvoje Niksic  <hniksic@arsdigita.com>
 758
 759         * url.c (path_simplify): Move here from utils.c, and make static.
 760
 761 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
 762
 763         * init.c (wgetrc_file_name): Print correct message when loading
 764         getenv("WGETRC") fails.
 765
 766 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
 767
 768         * recur.c (register_download): Don't abort when one URL references
 769         two different files.
 770
 771 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
 772
 773         * http.c (gethttp): Check for conn->scheme, not u->scheme, before
 774         calling ssl_iwrite.
 775
 776 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
 777
 778         * version.c: Wget 1.8.1-pre1 is released.
 779
 780 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
 781
 782         * res.c (matches): Fix broken URL in the docstring.
 783
 784 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
 785
 786         * html-url.c (tag_url_attributes): Mark <embed href=...> as
 787         external.
 788
 789 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
 790
 791         * url.c (get_urls_file): Cosmetic changes.
 792
 793 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
 794
 795         * html-url.c (append_one_url): Resurrect warning when unable to
 796         resolve a relative link.
 797
 798 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
 799
 800         * html-url.c (collect_tags_mapper): Break into several functions.
 801         (tag_url_attributes): Collect <embed href=...>.
 802
 803 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
 804
 805         * host.c: New type ipv4_address.  Use it consistently instead of
 806         `unsigned char[4]' and `unsigned char *'.
 807         (pretty_print_address): Accept a `const void *', to require even
 808         less casting.
 809
 810 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
 811
 812         * ftp-ls.c (ftp_parse_vms_ls): Fix obvious memory leaks.
 813
 814 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
 815
 816         * main.c (main): Initialize progress after fork_to_background, so
 817         that it knows when to use dots.
 818
 819         * mswindows.c (ws_hangup): Call log_request_redirect_output.
 820
 821         * utils.c (fork_to_background): Print the PID of the child
 822         process.
 823
 824         * log.c (log_request_redirect_output): Set a flag that output
 825         redirection has been requested.  Doing anything else in a signal
 826         handler is unsafe.
 827         (check_redirect_output): New function: check whether redirection
 828         has been requested and, if so, call redirect_output().
 829         (logputs): Call check_redirect_output.
 830         (logprintf): Ditto.
 831         (debug_logprintf): Ditto.
 832         (redirect_output): Print clearer messages.
 833
 834         * main.c (redirect_output_signal): Don't call
 835         redirect_output_signal directly.  Instead, call
 836         log_request_redirect_output.
 837
 838         * utils.c (memfatal): Ditto.
 839
 840         * progress.c (display_image): Use it.
 841
 842         * log.c (log_set_save_context): New function: allow the caller to
 843         turn off saving log context lines.
 844
 845 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
 846
 847         * host.c (address_list_set_faulty): Uncomment a sanity check.
 848
 849 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
 850
 851         * utils.c (long_to_string): Return a pointer after where the
 852         number ends.
 853         (long_to_string): Rename to number_to_string.
 854
 855 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
 856
 857         * utils.c (path_simplify): Correctly handle the unlikely case that
 858         b starts out as path + 1.
 859
 860 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
 861
 862         * utils.c (path_simplify): Rewrite, with better comments, and
 863         without the use of strcpy to move overlapping blocks.
 864
 865 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
 866
 867         * init.c (cmd_spec_progress): Resurrect.  Check whether VAL is a
 868         valid progress type before setting it.
 869
 870 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
 871
 872         * main.c (main): Remove stray debugging message.
 873
 874 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
 875
 876         * progress.c (create_image): Fix ETA padding when hours are prined.
 877
 878 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
 879
 880         * version.c: Wget 1.8 is released.
 881
 882 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
 883
 884         * url.c (reencode_string): Declare static.
 885
 886         * res.c (registered_specs): Declare static.
 887
 888         * progress.c (current_impl_locked): Declare static.
 889
 890         * log.c (flush_log_p): Declare static.
 891         (needs_flushing): Ditto.
 892
 893         * http.c (digest_authentication_encode): Declare static.
 894
 895         * html-url.c (init_interesting): Declare static.
 896
 897         * host.c (host_name_addresses_map): Declare static.
 898
 899         * cookies.c (find_matching_chains): Declare static.
 900
 901         * ftp-ls.c (ftp_parse_vms_ls): Warn about the memory leak
 902         indicated by lint.
 903
 904         * utils.c (path_simplify): Remove unused variable STUB_CHAR.
 905
 906         * host.c (address_list_set_faulty): Document that INDEX is
 907         currently unused.
 908
 909         * url.c (rewrite_shorthand_url): Remove unused variable PATH.
 910
 911 2001-12-08  Hrvoje Niksic  <hniksic@arsdigita.com>
 912
 913         * version.c: Wget 1.8-pre2 is released.
 914
 915 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
 916
 917         * progress.c (progress_handle_sigwinch): Set up the signal again.
 918
 919         * utils.c: Include <sys/termios.h>, where Solaris defines
 920         TIOCGWINSZ.
 921
 922         * progress.c (bar_create): Don't use the last column on the screen.
 923         (create_image): Pad ETA to constant size.  Pad SIZE to nine digits
 924         only until it exceeded them.
 925
 926 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
 927
 928         * version.c: Wget 1.8-pre1 is released.
 929
 930 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
 931
 932         * progress.c (progress_create): Make sure that, when the output is
 933         redirected, the progress implementation gets changed to the
 934         fallback one.
 935         (bar_set_params): Set current_impl_locked to 1 when "force" is
 936         specified.
 937         (progress_create): Don't change the progress implementation if
 938         current_impl_locked is non-zero.
 939
 940         * main.c (redirect_output_signal): Call
 941         progress_schedule_redirect.
 942
 943         * progress.c (progress_schedule_redirect): New function.
 944
 945 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
 946
 947         * log.c (logvprintf): Restructure to allow being called multiple
 948         times.
 949         (logprintf): Call logvprintf in a loop.
 950         (debug_logprintf): Ditto.
 951
 952 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
 953
 954         * gen_sslfunc.c (ssl_init_prng): Allow the user to disable EGD by
 955         setting egd_file it to empty string.
 956
 957         * main.c (main): Change the option name from --sslegdsock to
 958         --egd-file.
 959
 960 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
 961
 962         * gen_sslfunc.c (ssl_init_prng): Make the printed message
 963         translatable.
 964
 965 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
 966
 967         * url.c (scheme_disable): New function.
 968
 969         * main.c (main): Call ssl_init_prng from here rather than from
 970         init_ssl, so that it has a chance to disable support for https
 971         before a URL has been resolved.
 972
 973         * gen_sslfunc.c (ssl_init_prng): Seed with rand() if all else
 974         failed.
 975         (ssl_init_prng): Disable support for https if seeding the PRNG
 976         fails.
 977
 978 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
 979
 980         * utils.c (read_whole_line): Handle lines beginning with \0.
 981
 982 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
 983
 984         * recur.c (convert_all_links): Guard against duplicates in
 985         downloaded_html_files.
 986         (register_download): Don't invalidate similar-looking URLs.
 987         (match_except_index): New function.
 988
 989 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
 990
 991         * utils.c (path_simplify): Document with test cases.
 992
 993 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
 994
 995         * gen_sslfunc.c: Ditto.
 996
 997         * rbuf.c: Include <string.h>.
 998
 999 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
1000
1001         * recur.c (retrieve_tree): Check whether the URL was already
1002         downloaded before downloading it again.
1003         (descend_child_p): Renamed to download_child_p.
1004         (register_download): When one URL is downloaded to a file already
1005         "owned" by another URL, delete all references that map any URL to
1006         that file.
1007         (register_delete_file): New function.
1008         (retrieve_tree): Use it after deleting a file.
1009
1010         * url.c (url_parse): Re-canonicalize the URL also if the path is
1011         empty, so that e.g. "http://www.server.com" ->
1012         "http://www.server.com/".
1013         (lowercase_str): Use ISUPPER instead of !ISLOWER.
1014
1015         * retr.c (retrieve_url): Use the canonical URL form when calling
1016         register_download().
1017
1018 2001-12-04  Ian Abbott <abbotti@mev.co.uk>
1019
1020         * snprintf.c (dopr): Use `unsigned int' as the second argument to
1021         va_arg when casting to `unsigned short' is intended.
1022
1023 2001-12-04  Herold Heiko  <Heiko.Herold@previnet.it>
1024
1025         * gen_sslfunc.c: on windows provide ssl crypto random
1026           initialization through RAND_screen(); could possibly
1027           be not enough for strong ssl communication (see the
1028           relevant manual page from the openssl package).
1029
1030 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
1031
1032         * url.c (local_quote_string): Reenable quoting of question marks,
1033         but only when `--html-extension' is used.
1034
1035 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
1036
1037         * version.c: Wget 1.8-beta3 is released.
1038
1039 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
1040
1041         * snprintf.c (dopr): Cast the result of va_arg to short int and
1042         short unsigned int where these types are expected to be used.
1043
1044 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
1045
1046         * snprintf.c (dopr): Replace `short int' and `unsigned short int'
1047         with `int' when using it as the second argument to `va_arg'.
1048
1049 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
1050
1051         * host.c (address_list_new_one): New function.
1052         (lookup_host): Use it.
1053
1054 2001-12-03  Andre Majorel  <amajorel@teaser.fr>
1055
1056         * host.c (lookup_host): Don't initialize TMPSTORE directly because
1057         it's not legal C.
1058
1059 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
1060
1061         * ftp-basic.c (ftp_port): Don't return HOSTERR if we fail getting
1062         the socket data.
1063
1064         * ftp.c: Ditto.
1065
1066         * http.c: No need to declare h_errno.
1067
1068         * host.c: Declare h_errno.
1069
1070 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
1071
1072         * utils.c (file_merge): If BASE doesn't contain a slash, just
1073         return a copy of FILE.
1074
1075 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
1076
1077         * version.c: Wget 1.8-beta2 is released.
1078
1079 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1080
1081         * ftp.c (getftp): When PWD fails, assume "/".
1082
1083         * ftp-basic.c (ftp_syst): Fix indentation.
1084
1085 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1086
1087         * url.c (get_urls_file): If opt.base_href is specified, merge each
1088         URL with the base.
1089
1090 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1091
1092         * main.c (print_help): Don't document the removed `-nh'.
1093
1094 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1095
1096         * url.c (url_full_path): Document better.
1097
1098         * http.c (gethttp): Use the full path when creating digest
1099         authorization.
1100
1101 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1102
1103         * cookies.c (path_matches): Return 0 if PREFIX doesn't begin with
1104         '/'.
1105
1106 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1107
1108         * cookies.c (path_matches): FULL_PATH doesn't begin with '/', but
1109         PREFIX does.
1110
1111 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1112
1113         * cookies.c (check_domain_match): Reimplement to match Netscape's
1114         "preliminary specification" for cookies.
1115
1116 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1117
1118         * url.c (replace_attr_refresh_hack): New function.
1119         (convert_links): Call replace_attr_refresh_hack for Refresh
1120         links.  It will add the "TMOUT; URL=" junk before the link.
1121
1122         * html-url.c (collect_tags_mapper): Set ID to the ID of the
1123         "content" attribute, not "http-equiv".
1124         (collect_tags_mapper): Don't use OFFSET to hack the raw_* values;
1125         instead, store the information that this entry belongs to a
1126         "refresh" link.
1127
1128 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1129
1130         * version.c: Wget 1.8-beta1 is released.
1131
1132 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1133
1134         * recur.c (retrieve_tree): Allow -p retrievals to exceed maximum
1135         depth by more than one.
1136
1137 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
1138
1139         * retr.c (retrieve_url): Don't allow more than 20 redirections.
1140
1141 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
1142
1143         * recur.c (retrieve_tree): Skip the non-inline entries when
1144         enqueuing the children of a leaf HTML node in -p mode.
1145         (descend_url_p): Ignore opt.no_parent when in -p mode and UPOS is
1146         "inline".
1147
1148         * html-url.c (get_urls_html): Don't accept dash_p_leaf_HTML.
1149         (collect_tags_mapper): When an entry is "inline", mark it as such.
1150
1151         * recur.c (descend_url_p): Fix test when checking for
1152         acceptance/rejection rules.
1153
1154 2001-10-31 Daniel BODEA <dali@dali-designs.com>
1155
1156         * netrc.c (search_netrc): When slack_default is 0, still look for
1157         an account with matching password, just not the "default account".
1158         HTTP Authorization using .netrc should now work as expected.
1159
1160 2001-11-30  T. Bharath  <TBharath@responsenetworks.com>
1161
1162         * http.c (persistent_available_p): Call SHUTDOWN_SSL if
1163         test_socket_open fails.
1164
1165 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
1166
1167         * progress.c (display_image): Just print one CR to reset the
1168         cursor position.
1169
1170 2001-11-30  Christian Fraenkel  <c.fraenkel@gmx.net>
1171
1172         * init.c: New command `ssl_egd_sock'.
1173
1174         * main.c (main): New option `--sslegdsock'.
1175
1176         * gen_sslfunc.c (ssl_init_prng): Seed the RNG using EGD.
1177
1178 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1179
1180         * cmpt.c (memmove): Include a simple memmove implementation.
1181
1182 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1183
1184         * headers: Guard against header files being included twice.
1185
1186 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1187
1188         * gen-md5.c: Use unsigned char * as the buffer argument to
1189         gen_md5_update.
1190
1191 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1192
1193         * connect.h: Declare select_fd.
1194
1195 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1196
1197         * recur.c (descend_url_p): When resolving no_parent, compare with
1198         start_url, not parent url.  Otherwise link from /a/b/ to /a/c/
1199         wouldn't be followed, although the download started from /a/.
1200
1201 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
1202
1203         * config.h.ms, mswindows.h: defined HAVE_ISATTY, use _isatty for
1204         MS VC; somebody with Borland compiler please check and provide
1205         patch if possible;
1206
1207         * cmpt.c: provided a usleep emulation.
1208
1209 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1210
1211         * host.c (address_list_new): Initialize al->faulty.
1212
1213 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1214
1215         * http.c (http_process_range): Accept the broken output of
1216         "JavaWebServer/1.1.1".
1217
1218 2001-11-28  Hrvoje Niksic  <hniksic@arsdigita.com>
1219
1220         * progress.c (dot_set_params): If PARAMS is unspecified, use
1221         dot_style, if available.
1222
1223         * init.c: Ditto.
1224
1225         * main.c (main): Resurect --dot-style.
1226
1227         * progress.c (dot_finish): Print the quantity if we're left at the
1228         beginning of a row.
1229
1230 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1231
1232         * cmpt.c (random): Removed.
1233
1234         * retr.c (sleep_between_retrievals): Use the more portable rand()
1235         instead of random().
1236
1237 2001-11-27  Ian Abbott <abbotti@mev.co.uk>
1238
1239         * retr.c (retrieve_from_file): Initialize `new_file' to NULL to
1240         prevent seg fault.
1241
1242 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1243
1244         * connect.c (connect_to_many): Use address_list_set_faulty to
1245         prevent the faulty address from being reused.
1246
1247         * host.c (address_list_set_faulty): New function.
1248         (address_list_get_bounds): New function, instead of
1249         address_list_count.
1250
1251 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1252
1253         * url.c (convert_links): Don't translate %d-%d.
1254
1255         * main.c (print_help): Remove stray HAVE_RANDOM code.
1256
1257 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1258
1259         * ftp.c (getftp): Improve output after sending PASV.  Don't
1260         attempt to "look up" the IP address we already know; call
1261         connect_to_one directly.
1262
1263 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1264
1265         * progress.c: Change the default progress implementation to "bar".
1266
1267 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1268
1269         * progress.c (bar_create): Print two newlines.
1270
1271 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1272
1273         * cmpt.c (random): New function, a simple-minded replacement for
1274         random() on systems that don't have it.
1275
1276 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1277
1278         * config.h.in: Put a HAVE_USLEEP stub.
1279
1280         * cmpt.c (usleep): Replacement implementation of usleep using
1281         select.
1282
1283         * init.c: New option init_rate.
1284
1285         * main.c (main): New option --limit-rate.
1286
1287         * retr.c (limit_bandwidth): New function.
1288         (get_contents): Call it to limit the bandwidth used when
1289         downloading.
1290
1291         * progress.c (dot_update): Would print the wrong download speed on
1292         rows other than the first one when the download was continued.
1293         (dot_finish): Ditto.
1294
1295 2001-11-26  Ian Abbott <abbotti@mev.co.uk>
1296
1297         * http.c (gethttp): fix undeclared variable 'err' when compiled
1298         with HAVE_SSL.
1299
1300 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1301
1302         * progress.c: Don't allocate new timers; use the timing data
1303         propagated from the caller.
1304
1305         * retr.c (get_contents): Allocate and use a timer.
1306
1307 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1308
1309         * http.c (last_host_ip): Made into an address_list.
1310         (invalidate_persistent): Release pc_last_host_ip.
1311         (register_persistent): Use lookup_host.
1312         (persistent_available_p): Check for equality of hosts using
1313         address_list_match_all.  Call address_list_release.
1314         (http_cleanup): New function.
1315
1316         * ftp.c (getftp): Use lookup_host and connect_to_many.
1317
1318         * http.c (gethttp): Use lookup_host and connect_to_many.
1319
1320         * connect.c (make_connection): Removed.
1321         (connect_to_one): New function.
1322         (connect_to_many): Ditto.
1323         (set_connection_host_name): Ditto.
1324
1325         * host.c (lookup_host): New function; new return type.
1326         (address_list_new): New function.
1327         (address_list_count): Ditto.
1328         (address_list_copy_one): Ditto.
1329         (address_list_delete): Ditto.
1330         (address_list_release): Ditto.
1331         (pretty_print_address): Ditto.
1332
1333 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1334
1335         * recur.c (retrieve_tree): In case of followed redirection,
1336         blacklist the pre-redirection URL.
1337
1338 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1339
1340         * recur.c (descend_redirect_p): New function.
1341         (retrieve_tree): Make sure redirections are not blindly followed.
1342
1343 2001-11-04  Alan Eldridge  <alane@geeksrus.net>
1344
1345         * config.h.in: added HAVE_RANDOM.
1346
1347         * options.h: added random_wait to struct options.
1348
1349         * main.c (print_help [HAVE_RANDOM], main): added arg parsing, help
1350         for --random-wait.
1351
1352         * retr.c (sleep_between_retrievals) [HAVE_RANDOM]: added
1353         implementation of random wait times.
1354
1355         * init.c (commands): added "randomwait" keyword.
1356
1357 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1358
1359         * recur.c (descend_url_p): Be more conservative with blacklisting
1360         URLs.
1361         (convert_all_links): Print how many files have been converted, and
1362         how long it took.
1363
1364         * progress.c (create_image): Place the number of downloaded bytes
1365         right after the progress bar.
1366
1367         * utils.c (suffix): Return a pointer into the string.
1368
1369 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1370
1371         * url.c (convert_links): Handle CO_NULLIFY_BASE.
1372
1373         * recur.c (retrieve_tree): Ignore download-ignorable children.
1374         (convert_all_links): Specify CO_NULLIFY_BASE when link_base_p.
1375
1376         * html-url.c (handle_link): Return the newly created urlpos.
1377         (collect_tags_mapper): When dealing with BASE, store the base
1378         reference and mark it as download-ignorable.
1379
1380 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1381
1382         * url.c (convert_links): Attempt to quote '?' as "%3F" when
1383         linking to local files.  Given up on the attempt, as it breaks
1384         local browsing.
1385
1386 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1387
1388         * main.c (private_initialize): Removed.
1389         (main): Don't call private_initialize.
1390
1391         * http.c: Call lookup_host.
1392
1393         * host.c (host_init): Removed.
1394         (add_host_to_cache): Initialize host_name_address_map here, on
1395         demand.
1396         (ngethostbyname): Commented out.
1397
1398         * connect.c (make_connection): Remove dead code; use lookup_host.
1399
1400         * host.c (store_hostaddress): Renamed to lookup_host and reversed
1401         the args.
1402         Removed host_address_name_map and host_slave_master_map.
1403
1404 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1405
1406         * progress.c (dot_create): Align the "[ skipping ... ]" string
1407         with the dots.
1408
1409         * retr.c (rate): Split into two functions: calc_rate and
1410         retr_rate.
1411
1412         * progress.c (create_image): Draw a dummy progress bar even when
1413         total size is unknown.
1414         (display_image): Place the text cursor at the end of the "image".
1415
1416 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1417
1418         * url.c (reencode_string): Use unsigned char, not char --
1419         otherwise the hex digits come out wrong for 8-bit chars such as
1420         nbsp.
1421         (lowercase_str): New function.
1422         (url_parse): Canonicalize u->url if needed.
1423         (get_urls_file): Parse each URL, and return only the valid ones.
1424         (free_urlpos): Call url_free.
1425         (mkstruct): Add :port if the port is non-standard.
1426         (mkstruct): Append the query string to the file name, if any.
1427         (urlpath_length): Use strpbrk_or_eos.
1428         (uri_merge_1): Handle the cases where LINK is an empty string,
1429         where LINK consists only of query, and where LINK consists only of
1430         fragment.
1431         (convert_links): Count and report both kinds of conversion.
1432         (downloaded_file): Use a hash table, not a list.
1433         (downloaded_files_free): Free the hash table.
1434
1435         * retr.c (retrieve_from_file): Ditto.
1436
1437         * main.c (main): Call either retrieve_url or retrieve_tree
1438         for each URL, not both.
1439
1440         * retr.c (register_all_redirections): New function.
1441         (register_redirections_mapper): Ditto.
1442         (retrieve_url): Register the redirections.
1443         (retrieve_url): Make the string "Error parsing proxy ..."
1444         translatable.
1445
1446         * res.c (add_path): Strip leading slash from robots.txt paths so
1447         that the path representations are "compatible".
1448         (free_specs): Free each individual path, too.
1449         (res_cleanup): New function.
1450         (cleanup_hash_table_mapper): Ditto.
1451
1452         * recur.c (url_queue_new): New function.
1453         (url_queue_delete): Ditto.
1454         (url_enqueue): Ditto.
1455         (url_dequeue): Ditto.
1456         (retrieve_tree): New function, replacement for recursive_retrieve.
1457         (descend_url_p): New function.
1458         (register_redirection): New function.
1459
1460         * progress.c (create_image): Cosmetic changes.
1461
1462         * init.c (cleanup): Do all those complex cleanups only if
1463         DEBUG_MALLOC is defined.
1464
1465         * main.c: Removed --simple-check and the corresponding
1466         simple_host_check in init.c.
1467
1468         * html-url.c (handle_link): Parse the URL here, and propagate the
1469         parsed URL to the caller, who would otherwise have to parse it
1470         again.
1471
1472         * host.c (xstrdup_lower): Moved to utils.c.
1473         (realhost): Removed.
1474         (same_host): Ditto.
1475
1476 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1477
1478         * utils.c (path_simplify): Preserver the (non-)existence of
1479         leading slash.  Return non-zero if changes were made.
1480
1481 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1482
1483         * progress.c (bar_update): Don't modify bp->total_length if it is
1484         zero.
1485
1486 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1487
1488         * retr.c (retrieve_url): When the redirection URL doesn't parse,
1489         print the correct error message rather than "UNKNOWN".
1490
1491 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1492
1493         * progress.c (bar_finish): If the timer didn't record any time
1494         since the download beginning, fake 1ms.
1495
1496 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1497
1498         * recur.c (recursive_retrieve): Fix typo.
1499
1500 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
1501
1502         * progress.c (create_image): Don't translate "%ld ".
1503
1504 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
1505
1506         * progress.c (bar_set_params): Allow the user to force the use of
1507         the bar.
1508
1509 2001-11-23  Lemble Gregory  <gregory.lemble@st.com>
1510
1511         * gen_sslfunc.c (ssl_init_prng): New function; seed the SSL RNG.
1512
1513 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
1514
1515         * progress.c: Renamed dp_* functions to dot_* for greater clarity
1516         and consistency with bar_*.
1517         (print_download_speed): Get rid of the unneeded '@' character.
1518         (create_image): Fix download rate geometry.
1519
1520         * progress.c (print_elapsed): Remove spurious space.
1521         (print_elapsed): Renamed to print_download_speed, since that's
1522         what it does.
1523
1524 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
1525
1526         * progress.c (bar_update): If the downloaded amount becomes larger
1527         than the expected amount, adjust the expected amount accordingly.
1528
1529 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
1530
1531         * utils.c (determine_screen_width): New function.
1532
1533         * main.c (main): New option `--progress=TYPE'.
1534         (main): Implement compatibility with the old option `--dot-style'.
1535
1536         * init.c: Removed cmd_spec_dotstyle -- that logic is now in
1537         dp_set_params.
1538         (cmd_spec_progress): New function.
1539
1540         * retr.c (get_contents): Use the progress_* functions instead of
1541         the old show_progress().
1542         (show_progress): Removed.
1543         (rate): Print "xxxx.xx K/s" instead of "KB/s".  Ditto for MB/s,
1544         etc.
1545
1546         * progress.c (set_progress_implementation): New function.
1547         (valid_progress_implementation_p): Ditto.
1548         (progress_create): Ditto.
1549         (progress_update): Ditto.
1550         (progress_finish): Ditto.
1551         (dp_create): Ditto.
1552         (dp_update): Ditto.
1553         (dp_finish): Ditto.
1554         (dp_set_params): Ditto.
1555         (print_elapsed): Ditto.
1556
1557 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
1558
1559         * retr.c (show_progress): Use it.
1560
1561         * log.c (log_set_flush): New function.
1562
1563 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
1564
1565         * utils.c (path_simplify): Don't remove trailing slashes.
1566
1567         * ftp.c (ftp_get_listing): Use it.
1568
1569         * utils.c (file_merge): New function.
1570
1571         * url.c (opt_url): Removed.
1572
1573         * recur.c (recursive_retrieve): Inline "opt_url" logic.
1574
1575         * main.c (main): Use xfree(), not free().
1576
1577         * url.c (rewrite_url_maybe): Renamed to rewrite_shorthand_url.
1578
1579         * ftp.c (ccon): Move `ccon' typedef here, since it's only used
1580         internally.
1581
1582         * config.h.in: Include a stub for HAVE_STRPBRK.
1583
1584         * cmpt.c (strpbrk): Include a replacement for systems without
1585         strpbrk().
1586
1587         * ftp.c: Use url_set_dir and url_set_file when modifying the URL.
1588
1589         * url.c (url_set_dir): New function.
1590         (url_set_file): Ditto.
1591
1592         * ftp-basic.c (ftp_process_type): Process FTP type here; the URL
1593         parser makes the URL "params" available, so we can do that in this
1594         function.
1595
1596         * retr.c: Ditto.
1597
1598         * ftp.c: Ditto; pass the local file information in `ccon'.
1599
1600         * http.c: Get rid of the ugly kludge that had URL being replaced
1601         with the proxy URL when proxy retrieval was requested.  Use a
1602         separate parameter to http_loop and gethttp for the proxy URL.
1603
1604         * http.c: Changed to reflect the fact that local file, proxy, and
1605         referer information are no longer stored in struct url.  The local
1606         file information is passed in `struct hstat' now.
1607
1608         * url.c: Reworked URL parsing to be more regular.  Reencode the
1609         URL using reencode_string.
1610         Removed non-URL-related information from struct url.  This
1611         includes fields `proxy', `local', and `referer'.
1612
1613 2001-11-22  Jochen Hein  <jochen@jochen.org>
1614
1615         * main.c (main): Split the copyright notice for easier
1616         translation.
1617
1618 2001-08-21  Dave Turner <dct25@hermes.cam.ac.uk>
1619
1620         * ftp-basic.c (ftp_size): New function to send non-standard SIZE
1621           command to server to request file size.
1622         * ftp.h (ftp_size): Export it.
1623         * ftp.c (getftp): Use new ftp_size function if restoring
1624           transfer of a file with unknown size.
1625
1626 2001-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
1627
1628         * url.c (parseurl): Don't depend on the now-obsolete TYPE.
1629
1630 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1631
1632         * url.c (getproxy): Handle URL shorthands.
1633
1634 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1635
1636         * main.c: Remove --wait / --waitretry backwards compatibility
1637         code.
1638
1639 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1640
1641         * main.c (main): Use it.
1642
1643         * url.c (rewrite_url_maybe): New function.
1644
1645 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1646
1647         * url.c: Clean up handling of URL schemes.
1648
1649 2001-05-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1650
1651         * url.c: Get rid of `protostrings'.
1652         (skip_proto): Don't use protostrings.
1653         (has_proto): Ditto.
1654
1655 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1656
1657         * Makefile.in: Conditionally compile getopt.o.
1658
1659 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1660
1661         * md5.h: Renamed to gnu-md5.h.
1662
1663         * md5.c: Renamed to gnu-md5.c.
1664
1665         * http.c: Ditto.
1666
1667         * ftp-opie.c: Use the new macros.
1668
1669         * sysdep.h: Define md5-related macros.
1670
1671         * config.h.in: Define HAVE_SOLARIS_MD5 or HAVE_BUILTIN_MD5
1672         depending on which md5 implementation is used.
1673
1674 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1675
1676         * res.c (res_register_specs): Initialize OLD and HP_OLD to appease
1677         the compiler.
1678
1679 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1680
1681         * http.c (gethttp): Print the whole response line when printing
1682         headers is requested.
1683
1684 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1685
1686         * res.c: New file.  Implement all RES-related code here.
1687
1688 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1689
1690         * version.c: Wget 1.7.1 is released.
1691
1692 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1693
1694         * headers.c (header_extract_number): Ignore trailing whitespace.
1695
1696 2001-08-24  Ian Abbott  <abbotti@mev.co.uk>
1697
1698         * html-url.c (collect_tags_mapper): Fix bug converting links
1699         with -k option for tags with multiple link attributes by
1700         handling links in the order they appear.
1701
1702 2001-08-15  Ian Abbott  <abbotti@mev.co.uk>
1703
1704         * ftp.c (ftp_loop_internal): Avoid a potential buffer overflow in
1705           the call to the 'rate' function by moving it past the error
1706           checking for the 'getftp' function return value.
1707
1708 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1709
1710         * html-parse.c (advance_declaration): Use 0x22 instead of '"' or
1711         '\"'.  Different compilers' assert macros are broken in different
1712         ways.
1713
1714 2001-09-29  Christian Fraenkel  <c.fraenkel@gmx.net>
1715
1716         * http.c (gethttp): print debug output for errors occuring during
1717         the ssl handshake.
1718
1719 2001-11-16  Chris Seawood  <cls@seawood.org>
1720
1721         * init.c: Ditto.
1722
1723         * host.c: Ditto.
1724
1725         * connect.c: Ditto.
1726
1727         * sysdep.h: Support compilation under BEOS.
1728
1729 2001-06-08  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
1730
1731         * url.c (url_equal): Fix a memory leak when parseurl returns an
1732         error on the second URL. Also, since url_equal is not used at the
1733         moment, do not compile it.
1734
1735         * url.h: Ditto for the prototype of url_equal.
1736
1737 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1738
1739         * html-parse.c (map_html_tags): Support XML-style empty tags.
1740
1741 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1742
1743         * wget.h (DO_REALLOC_FROM_ALLOCA): Check for do_realloc_newsize in
1744         loop condition because we're no longer setting SIZEVAR here.
1745
1746 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1747
1748         * wget.h (DO_REALLOC_FROM_ALLOCA): Set SIZEVAR after the memcpy()
1749         call because it needs the old value.
1750
1751 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1752
1753         * cookies.c (ATTR_NAME_CHAR): Allow almost any character to be in
1754         an attribute name.
1755
1756 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1757
1758         * url.c (url_filename): Make sure that slashes that sneak in to
1759         u->file via query string get protected.
1760         (file_name_protect_query_string): New function.
1761
1762 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1763
1764         * recur.c (recursive_retrieve): Also check undesirable_urls with
1765         canonicalized URL.
1766
1767 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1768
1769         * http.c (gethttp): Search `.netrc' with real host, not the proxy
1770         one.
1771
1772 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1773
1774         * sysdep.h (MAP_FAILED): Provide MAP_FAILED for systems that don't
1775         define it.
1776
1777 2001-06-09  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
1778
1779         * ftp.h: Provide correct prototype for ftp_parse_ls().
1780
1781 2001-06-04  Hrvoje Niksic  <hniksic@arsdigita.com>
1782
1783         * version.c: Wget 1.7 is released.
1784
1785 2001-06-03  Karl Eichwalder  <ke@suse.de>
1786
1787         * ftp-ls.c (ftp_parse_ls): Fix typo.
1788
1789 2001-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1790
1791         * all: Update copyright information.
1792
1793 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1794
1795         * http.c (gethttp): Indicate that the continued download failed
1796         for *this* file.
1797
1798 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1799
1800         * version.c: Wget 1.7-pre1 is released.
1801
1802 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1803
1804         * version.c: Updated version to 1.7-pre1.
1805
1806 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1807
1808         * gen_sslfunc.c: Don't include <sys/time.h> directly.
1809
1810 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1811
1812         * http.c (gethttp): Use real URL data for cookies, not the proxy
1813         stuff.
1814
1815 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1816
1817         * main.c (print_help): Document `--no-http-keep-alive'.
1818
1819         * utils.c (numdigit): Handle negative numbers *correctly*.
1820
1821         * hash.c (make_nocase_string_hash_table): Use term "nocase" rather
1822         than the confusing "unsigned".
1823
1824         * utils.c (string_set_contains): Renamed from string_set_exists.
1825
1826         * hash.c (hash_table_contains): Renamed from hash_table_exists.
1827
1828         * cookies.c: Move case-insensitive hash tables to hash.c.
1829
1830 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
1831
1832         * http.c (gethttp): Before concluding that the file is already
1833         fully retrieved, make sure that the file existed and `Range' was
1834         actually requested.
1835
1836 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
1837
1838         * cookies.c (eliminate_dups): New function.
1839         (build_cookies_request): Use it.
1840         (build_cookies_request): Set chain_store_size after reallocating
1841         all_chains.
1842         (check_domain_match): Annotated for easier future debugging.
1843         (store_cookie): In the debug message, print whether the cookie is
1844         permanent.
1845
1846 2001-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
1847
1848         * http.c (http_loop): Reset no_truncate before deciding whether to
1849         set it.
1850         (gethttp): Further clarify "-c conflicts with existing file" error
1851         message, based on input from Herold Heiko.
1852
1853 2001-05-07  Hrvoje Niksic  <hniksic@arsdigita.com>
1854
1855         * http.c (http_loop): If restval is set, set no_truncate to 1
1856         unconditionally.
1857
1858 2001-05-02  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
1859
1860         * ftp-ls.c (ftp_parse_winnt_ls): Assure months are being correctly
1861         converted. Pointed out by <Stefan.Weil@de.heidelberg.com>.
1862         (ftp_parse_vms_ls): Ditto.
1863
1864 2001-04-30  Hrvoje Niksic  <hniksic@arsdigita.com>
1865
1866         * init.c (cmd_address): Zero SIN before using it; apparently
1867         needed on *BSD.
1868
1869 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1870
1871         * ftp.c (ftp_loop_internal): Don't set NO_TRUNCATE if the file is
1872         empty.
1873
1874 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1875
1876         * main.c (main): Make `--cookies' respect its argument.
1877
1878 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
1879
1880         * main.c (main): Removed undocumented option `--email-address'.
1881
1882         * netrc.c: Use the latest read_whole_line.
1883
1884         * init.c (defaults): Set opt.ftp_pass to "-wget@".
1885
1886         * mswindows.c (pwd_cuserid): Ditto.
1887
1888         * utils.c (pwd_cuserid): Removed.
1889
1890         * host.c (ftp_getaddress): Removed.
1891
1892 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
1893
1894         (http_loop): Allocate space for filename_plus_orig_suffix with
1895         alloca; this is more efficient and removes the need to free it
1896         before each and every return.
1897
1898 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
1899
1900         * http.c (gethttp): Return RETRUNNEEDED when the retrieval is
1901         unneeded because the file is already there and fully downloaded,
1902         and -c is specified.
1903         (http_loop): Handle RETRUNNEEDED.
1904
1905         * wget.h (uerr_t): New value RETRUNNEEDED.
1906
1907         * http.c (http_loop): Set no_truncate for files that both exist
1908         and are non-empty.
1909         (gethttp): Consider the download finished when restval >= contlen,
1910         not only when restval==contlen.
1911         (gethttp): Handle redirection before giving up due to -c.
1912         (gethttp): Clarify error message which explains that -c will not
1913         truncate the file.
1914         (gethttp): When returning CONTNOTSUPPORTED, don't forget to free
1915         the stuff that needs freeing and release the socket.
1916
1917 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1918
1919         * main.c (print_help): Wget booleans accept "off", not "no".
1920
1921 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1922
1923         * http.c (http_loop): If allow_cache is zero, always disable
1924         caching, not only when retrieving through proxy.
1925
1926         * init.c: Ditto.
1927
1928         * options.h (struct options): Rename proxy_cache to allow_cache.
1929
1930 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1931
1932         * http.c (mktime_from_utc): Improve documentation.
1933         (http_atotm): Put format strings into a separate array.
1934
1935 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1936
1937         * safe-ctype.h: Instead of throwing #error when isalpha is
1938         defined, redefine it to something that will throw a compile-time
1939         error if actually *used*.  Do the same for the rest of the
1940         standard C macros.
1941
1942 2001-04-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1943
1944         * url.c (getproxy): Ignore empty proxy vars.
1945
1946 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1947
1948         * http.c (http_loop): Would load cookies every time.
1949
1950         * cookies.c (load_cookies): Handle cookies whose values contain
1951         embedded spaces.
1952
1953 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1954
1955         * utils.c: Define each DIGITS_* in one line.
1956
1957 2001-04-25  Roger L. Beeman  <beeman@cisco.com>
1958
1959         * http.c (http_atotm): Initialize t.tm_isdst to 0.
1960         (mktime_from_utc): Prevent mktime() from having discontinuities at
1961         DST transition points.
1962
1963 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1964
1965         * html-url.c (get_urls_html): Fix documentation.
1966
1967 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1968
1969         * url.c (UNSAFE_CHAR): Reimplement using a static table.
1970         (url_init): Removed.
1971         (init_unsafe_char_table): Removed.
1972
1973 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1974
1975         * snprintf.c (dopr): Replace ISDIGIT with '0' <= ch && ch <= '9'.
1976
1977 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1978
1979         * utils.c: Document timer functions.
1980
1981         * retr.c (rate): Use it.
1982         (rate): Print in GB/s if transfer rate exceeds 1 GB/s.
1983
1984         * utils.c (wtimer_granularity): New function.
1985
1986 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1987
1988         * retr.c (show_progress): Ditto.
1989
1990         * ftp.c (getftp): Ditto.
1991
1992         * http.c (gethttp): Use new timer functions.
1993
1994         * utils.c (wtimer_allocate): New function.
1995         (wtimer_new): Ditto.
1996         (wtimer_delete): Ditto.
1997         (wtimer_reset): Ditto.
1998         (wtimer_elapsed): Ditto.
1999
2000 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2001
2002         * utils.c (long_to_string): New, faster version.  Favors smaller
2003         numbers; much of the calculation is now done at compile-time.
2004
2005 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2006
2007         * utils.c (numdigit): Handle negative numbers.
2008
2009 2001-04-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2010
2011         * retr.c (show_progress): Print the download rate even when the
2012         percentages are not available.
2013
2014 2001-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2015
2016         * ftp.c (getftp): Adjust expected_bytes if the length is
2017         authoritative.
2018
2019 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2020
2021         * url.c: Don't declare `construct'.
2022
2023         * hash.c (grow_hash_table): Speed up rehashing; inline storing of
2024         mappings to new locations.
2025         (hash_table_new): Make resize_threshold a field in the hash table,
2026         so we don't have to recalculate it in each hash_table_put.
2027         (grow_hash_table): Update resize_threshold.
2028         (MAX): Remove unused macro.
2029         (prime_size): Made static.
2030
2031 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2032
2033         * retr.c (retrieve_url): Call uri_merge, not url_concat.
2034
2035         * html-url.c (collect_tags_mapper): Call uri_merge, not
2036         url_concat.
2037
2038         * url.c (mkstruct): Use encode_string instead of xstrdup followed
2039         by URL_CLEANSE.
2040         (path_simplify_with_kludge): Deleted.
2041         (contains_unsafe): Deleted.
2042         (construct): Renamed to uri_merge_1.
2043         (url_concat): Renamed to uri_merge.
2044
2045 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2046
2047         * url.c (str_url): Use encode_string instead of the unnecessary
2048         CLEANDUP.
2049         (encode_string_maybe): New function, returns input string if no
2050         encoding is needed.
2051         (encode_string): Call encode_string_maybe to do the dirty work,
2052         xstrdup if no work needed.
2053
2054 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2055
2056         * wget.h (XDIGIT_TO_xchar): Define here.
2057
2058         * url.c (decode_string): Use new name.
2059         (encode_string): Ditto.
2060
2061         * http.c (XDIGIT_TO_xchar): Rename HEXD2asc to XDIGIT_TO_xchar.
2062         (dump_hash): Use new name.
2063
2064         * wget.h: Rename ASC2HEXD and HEXD2ASC to XCHAR_TO_XDIGIT and
2065         XDIGIT_TO_XCHAR respectively.
2066
2067 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2068
2069         * init.c: Include cookies.h.
2070
2071         * cookies.h: Declare cookies_cleanup.
2072
2073         * cookies.c (check_domain_match): Remove unused variable.
2074         (save_cookies): Remove extraneous argument from debug statement.
2075
2076         * host.c (same_host): Don't call skip_url.
2077
2078         * url.c (skip_url): Removed.  Removed its calls from various
2079         functions in url.c.
2080
2081 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2082
2083         * cookies.c (unsigned_string_hash): Use the new code in
2084         string_hash as reference.
2085
2086         * hash.c (hash_table_map): Allow deletion and change of the
2087         element processed by MAPFUN.
2088         (string_hash): Use the function from glib.
2089
2090 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2091
2092         * config.h.in: Include #undef stub.
2093
2094         * hash.c (hash_table_remove): Rewrite to actually clear deleted
2095         entries instead of just marking them as deleted.
2096
2097 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2098
2099         * hash.h: Declare hash_table_get_pair and hash_table_count.
2100
2101 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2102
2103         * cookies.c: Declare http_atotm.
2104
2105 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2106
2107         * ftp-ls.c (ftp_parse_unix_ls): Use octal constants for
2108         permissions.  A compiler that doesn't accept octal constants is
2109         seriously broken and shouldn't be used -- octal constants were
2110         present in K&R C!
2111
2112 2001-01-20  Karl Eichwalder  <ke@suse.de>
2113
2114         * Makefile.in: Provide and use DESTDIR according to the Coding
2115         Standards.
2116
2117 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2118
2119         * ftp-ls.c (ftp_parse_vms_ls): Make seconds optional in time
2120         specification.
2121
2122 2001-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2123
2124         * url.c (parseurl): Don't strip trailing slash when u->dir is "/"
2125         because that strips the *leading* slash, thus forcing relative
2126         FTP retrieval.
2127
2128 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2129
2130         * ftp.c (getftp): Convert initial FTP directory from VMS to UNIX
2131         notation for VMS servers.
2132         (ftp_retrieve_dirs): Do not prepend '/' to f->name when
2133         odir is an empty string.
2134
2135 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2136
2137         * ftp-ls.c (ftp_parse_winnt_ls): Made the fix for AM/PM more
2138         effective. Suggested by Edward J. Sabol.
2139
2140 2001-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2141
2142         * cookies.c (build_cookies_request): Use and sort cookies from all
2143         matching domains.
2144         (build_cookies_request): Check for duplicates before generating
2145         the `Cookies' header.
2146
2147         * main.c (main): Don't load cookies here.
2148         (main): Make loadcookies and savecookies call the correct command.
2149
2150         * http.c (http_loop): Load cookies on-demand.
2151
2152 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2153
2154         * http.c (gethttp): Fix indentation of SSL ifdef.
2155
2156 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2157
2158         * ftp.c (ftp_retrieve_dirs): Don't forcibly prepend "/" to u->dir;
2159         that hack is no longer necessary.
2160         (getftp): Prepend initial directory to *non*-absolute u->dir's.
2161
2162 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2163
2164         * init.c (cmd_file): New function.
2165         (enable_tilde_expansion): New variable.
2166         (run_wgetrc): Use it.
2167         (cmd_file): Use it.
2168
2169 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2170
2171         * init.c: Include cookie-related options.
2172
2173         * main.c (main): Include cookie-specific options.
2174         (main): Load cookies before download is finished.
2175         (main): Save cookies when done.
2176
2177         * http.c (gethttp): Process the `Set-Cookie' header.
2178         (gethttp): Include cookies in the response.
2179
2180         * cookies.c: New file.
2181
2182 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2183
2184         * utils.c (datetime_str): New function.
2185
2186 2001-04-08  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2187
2188         * ftp-ls.c (ftp_parse_winnt_ls): The AM/PM change did assume
2189         12:01PM == 00:01, which was obviously wrong. Taken care of this
2190         anomaly.
2191
2192         * ChangeLog: Removed an excess conflict marker. Reformatted the
2193         entry by Philipp Thomas from 2001-03-09.
2194
2195         * ftp-ls.c (ftp_parse_winnt_ls): Ensure that adjusted PM hours lay
2196         between 0 and 23. Elminate unused variable `sec'.
2197
2198 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2199
2200         * hash.c (hash_table_count): New function.
2201
2202 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2203
2204         * utils.c (read_file): Cast MAP_FAILED to char *.  Enforced by
2205         Digital Unix cc.
2206
2207 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2208
2209         * config.h.in: Oops, do the namespace tweaks only on systems we
2210         know about.
2211
2212 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2213
2214         * hash.c: Include <string.h>.
2215
2216 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2217
2218         * config.h.in: Define "compilation environment" options that work
2219         under Linux and Solaris.  To be reviewed on other OS'es.
2220
2221 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2222
2223         * http.c (gethttp): Prepend literal newline with `\n\'.
2224
2225 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2226
2227         * sysdep.h: Don't define VERY_LONG_FORMAT.
2228
2229         * utils.c (very_long_to_string): New function.
2230         (legible_very_long): Use it; don't use VERY_LONG_FORMAT.
2231
2232 2001-04-04  Christian Fraenkel  <christian.fraenkel@gmx.net>
2233
2234         * url.c (parse_uname): Would run past the end of the string if the
2235         username was present, but the URL did not contain a slash, e.g.
2236         http://foo:bar@myhost.
2237
2238 2001-04-03  KOJIMA Hajime  <kjm@rins.ryukoku.ac.jp>
2239
2240         * http.c (http_atotm): Use %A instead of %a to match full
2241         weekday.  (On most systems there is no difference.)
2242
2243 2001-04-03  Paul Bludov  <paul@ozero.net>
2244
2245         * mswindows.c (sleep): Use SleepEx() instead of Sleep().
2246         (ws_changetitle): Use alloca() instead of malloc() to avoid memory
2247         leak.
2248         (ws_mypath): Use GetModuleFileName instead of argv[0].
2249         (ws_startup): Use data.wVersion for comparison.
2250
2251 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2252
2253         * http.c (http_loop): Ditto.
2254
2255         * ftp.c (ftp_loop_internal): Made the check whether to continue
2256         retrieval `-O'-friendly.
2257
2258 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2259
2260         * netrc.c (parse_netrc): Don't trim the line endings explicitly;
2261         they will be handled as whitespace.
2262         (parse_netrc): Correctly handle lines that end with whitespace.
2263
2264 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2265
2266         * retr.c (retrieve_url): New variable global_download_count used
2267         to identify first retrieval.
2268
2269         * ftp.c (getftp): Ditto.
2270
2271         * http.c (gethttp): Rewind opt.dfp only on first retrieval.
2272
2273 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2274
2275         * init.c (cmd_address): Heap-allocate the address that gets stored
2276         to CLOSURE.  Old code would simply assign an address on the stack.
2277
2278 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
2279
2280         * ftp.c (ftp_get_listing): Propagate error status.
2281         (ftp_retrieve_glob): Use it.
2282         (ftp_loop): Ditto.
2283
2284 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
2285
2286         * main.c (main): Add -C to the string that is the third arg to
2287         getopt_long().
2288
2289 2001-04-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2290
2291         * ftp.c (getftp): Don't start the download from scratch if `-c'
2292         was specified, but the file is already fully downloaded.
2293
2294         * http.c (gethttp): Don't truncate a pre-existing file if `-c' was
2295         specified and the server doesn't support continued download.
2296         (gethttp): Don't start the download from scratch if `-c' was
2297         specified, but the file is already fully downloaded.
2298
2299 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
2300
2301         (recursive_retrieve): Don't clear the hash tables at this point at
2302         all; it interferes with the normal operation of register_download.
2303
2304 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
2305
2306         * recur.c (recursive_retrieve): Clear the hash tables only when
2307         they are defined.
2308
2309 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
2310
2311         * http.c (gethttp): Make sure the socket is closed with
2312         CLOSE_INVALIDATE before we have drained the body.
2313
2314 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
2315
2316         * retr.c (retrieve_url): Call register_download() for downloaded
2317         files and register_html() for downloaded HTML files.
2318
2319         * recur.c (register_download): New function; register here that a
2320         file has been downloaded, rather than in recursive_retrieve().
2321         (register_html): New function; enqueue the location of HTML files
2322         here rather than in recursive_retrieve().
2323
2324 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
2325
2326         * main.c (print_help): Use multiple fputs instead of a single ugly
2327         printf().
2328         (main): Consistently assign numbers >128 to options without a
2329         corresponding character.
2330
2331 2001-03-09  Philipp Thomas  <pthomas@suse.de>
2332
2333         * safe-ctype.h: New file. Locale independent ctype.h replacement
2334         taken from libiberty.
2335
2336         * safe-ctype.c: New file. Tables for above.
2337
2338         * Makefile.in: Add safe-ctype$o to OBJS.  Add dependencies for
2339         safe-ctype$o.
2340
2341         * cmpt.c: Remove include of ctype.h. Use ISSPACE instead of
2342         isspace.
2343
2344         * ftp-basic.c: Don't include ctype.h.
2345
2346         * ftp-ls.c: Likewise.
2347
2348         * ftp.c: Likewise.
2349
2350         * headers.c: Likewise.
2351
2352         * host.c: Likewise.
2353
2354         * html-parse.c: Likewise.
2355
2356         * html-url.c: Likewise.
2357
2358         * http.c: Likewise.
2359
2360         * init.c: Likewise.
2361
2362         * main.c: Likewise. Set LC_CTYPE along with LC_MESSAGES.
2363
2364         * netrc.c: Likewise.
2365
2366         * recur.c: Likewise.
2367
2368         * retr.c: Likewise.
2369
2370         * snprintf.c: Replace ctype.h with safe-ctype.h. Use ISDIGIT
2371         instead of isdigit.
2372
2373         * sysdep.h: Remove defines of ctype macros as they aren't needed
2374         for safe-ctype-h.
2375
2376         * url.c: Don't include ctype.h.
2377
2378         * utils.c: Likewise.
2379
2380         * wget.h: Include safe-ctype.h.
2381
2382 2001-03-27  Dan Harkless  <wget@harkless.org>
2383
2384         * Makefile.in: Moved top_builddir out of "User configuration
2385         section" of top Makefile and analogous spot in this one.
2386
2387 2001-03-17  Dan Harkless  <wget@harkless.org>
2388
2389         * Makefile.in: Include @SSL_INCLUDES@ substition in INCLUDES.
2390         Define top_builddir.  Link wget with libtool so the user doesn't
2391         have to supply a bunch of custom environment variables to
2392         correctly link with the OpenSSL shared libraries.
2393
2394 2001-03-06  Hack Kampbjorn  <hack@hackdata.com>
2395
2396         * http.c (gethttp): skip :port in host header if it is the
2397         DEFAULT_HTTPS_PORT when using SSL.
2398
2399         * url.c: move the #define of DEFAULT_HTTP_PORT, DEFAULT_FTP_PORT
2400         and DEFAULT_HTTPS_PORT to the header file so it can be use in the
2401         rest of the code.
2402         * url.h: Ditto
2403
2404 2001-03-01  Jonas Jensen  <bones@huleboer.dk>
2405
2406         * retr.c (show_progress): Correctly calculate the number of bytes
2407         in the first line of the download that have been actually
2408         downloaded in this run.
2409
2410 2001-02-23  Dan Harkless  <wget@harkless.org>
2411
2412         * main.c (print_help): --help documentation for -N said it would
2413         re-download files if they had the _same_ timestamp on server.
2414         (print_help): -nr belongs in "FTP options" section of --help
2415         output, not "Recursive retrieval" section.  Alphabetized FTP
2416         options by long option name.
2417
2418 2001-02-16  Dan Harkless  <wget@harkless.org>
2419
2420         * init.c (commands): Hack Kampbjørn <hack@hackdata.com> discovered
2421         that "httpsproxy" had been inserted into commands[] out of
2422         alphabetical order, causing "BUG: unknown command `httpuser'".
2423
2424 2001-02-13  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2425
2426         * ftp-ls.c (ftp_parse_ls): Added support of ST_MACOS (Unix-like
2427         listing without correct permissons).
2428
2429         * ftp.h (stype): Added ST_MACOS to identify the NetPresenz MacOS
2430         FTP server.
2431
2432         * ftp.c (ftp_retrieve_list): New mirroring logic: A remote file
2433         shall be donwloaded only when it's newer than the local copy or
2434         when it has the same timeestamp but its size is different. ST_VMS
2435         and ST_MACOS as special cases that lie about file size.
2436
2437         * ftp-ls.c (ftp_parse_ls): Support for ST_MACOS.
2438
2439         * Makefile.in: Removed dependency on ftpparse library due to unclear
2440         copyright issues and absence of any feedback to our queries.
2441
2442         * ftp-ls.c: Removed dependency on ftpparse library due to unclear
2443         copyright issues and absence of any feedback to our queries.
2444         (ftp_parse_ls): Added a warning message when remote server system
2445         does not seem to be suported by wget.
2446         (ftp_parse_vms_ls): New function for parsing VMS ftp
2447         server listing output.
2448         (clean_line): New function responsible for removing
2449         end-of-line characters from FTP listing texts.
2450
2451         * ftp.c (getftp): Global variables pwd and host_type are now
2452         member of the ccon structure under names ccon.id and ccon.rs.
2453
2454         * ftp.h (struct ccon): Added formed global variables from ftp.c,
2455         enum stype rs (remote system identification) and char *id (initial
2456         working directory), as suggested by Hrvoje.
2457
2458         * url.c (parse_uname): Added support for passwords containing '@'
2459         characters.
2460         (skip_uname): Ditto.
2461
2462 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2463
2464         * ftp.c (ftp_loop): Reset con.
2465
2466 2001-01-06  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2467
2468         * url.c (parse_uname): Added support for passwords containing '@'
2469         characters.
2470         (skip_uname): Ditto.
2471
2472 2001-02-11  Hack Kampbjørn  <hack@hackdata.com>
2473
2474         * url.c (parseurl): Debug-print u->ftp_type.
2475
2476 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2477
2478         * ftp.c (ftp_loop_internal): Disable padding.
2479         (getftp): Ditto.
2480
2481         * http.c (http_loop): Disable padding.
2482
2483         * retr.c (show_progress): Use it to enable padding.
2484
2485         * retr.c (rate): Optional parameter PAD for padding the rate.
2486
2487 2001-02-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2488
2489         * retr.c (show_progress): Make sure that the last output line
2490         includes progress.
2491
2492 2001-02-10  Jonas Jensen  <bones@huleboer.dk>
2493
2494         * retr.c (show_progress): Print the download rate along with the
2495         percentages.
2496         Along with Anders Thorsby <anders@thorsby.dk>.
2497
2498 2001-02-10  Tim Mooney  <mooney@dogbert.cc.ndsu.NoDak.edu>
2499
2500         * ftp.h: Rename enums `command' to `wget_ftp_command' and
2501         `fstatus' to `wget_ftp_status' because old names clash with Tru64
2502         net/if.h.
2503
2504 2001-02-08  Christian Fraenkel <christian.fraenkel@gmx.net>
2505
2506         * gen_sslfunc.c: verify_callback is now static
2507
2508         * gen_sslfunc.c (init_ssl): load certificate if specified
2509
2510         * gen_sslfunc.c (ssl_printerr): new function
2511
2512         * init.c: added new --sslcertfile and --sslcertkey switches
2513
2514         * main.c: ditto
2515
2516         * options.h: ditto
2517
2518         * http.c (gethttp): abort when init_ssl fails
2519
2520 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
2521
2522         * mswindows.h: Include <malloc.h>; it's needed for alloca().
2523
2524 2001-01-10  Dan Harkless  <wget@harkless.org>
2525
2526         * url.c (str_url): Clarified this function's comment header after
2527         Hrvoje answered my question on the list as to when hide != 1.
2528         Also Hrvoje pointed out I need to use xstrdup() on the string literal.
2529
2530 2001-01-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2531
2532         * connect.c (bindport): Declare addrlen as int.  Diagnosed by
2533         Drazen Kacar <dave@arsdigita.com>.
2534         (conaddr): Ditto.
2535
2536 2001-01-09  Dan Harkless  <wget@harkless.org>
2537
2538         * html-url.c: A bunch of fixup of `--page-requisites'-related
2539         comments to reflect Hrvoje's changes to my code when transplanting
2540         it into this new file, to fix spelling mistakes, to clarify, etc.
2541
2542         * url.c (write_backup_file): Clarified a comment.
2543         (str_url): Henrik van Ginhoven pointed out on the list that we
2544         shouldn't give away the number of characters in the password by
2545         replacing each character with a 'x'.  Use "<password>" instead.
2546
2547         * ftp.c (ftp_retrieve_dirs): The bug where recursion into FTP
2548         directories didn't work if logging in put you in a directory other
2549         than "/" is fixed now.  Removed the comment here warning of the bug.
2550
2551         * main.c (print_help): --continue's description was misleading.
2552         We don't "restart", we "resume".  Also, better to say
2553         "partially-downloaded file" rather than just "existing file".
2554
2555 2001-01-06  Dan Harkless  <wget@harkless.org>
2556
2557         * ChangeLog: The '[Not in 1.6 branch.]'s were decided not to be
2558         the best way to go about my aim.  Removed them in favor of:
2559
2560         * ChangeLog-branches/1.6_branch.ChangeLog: New file.
2561
2562 2001-01-04  Hrvoje Niksic  <hniksic@arsdigita.com>
2563
2564         * url.c (replace_attr): New function, to be used by both
2565         TO_COMPLETE and TO_RELATIVE case in convert_links.
2566         (find_fragment): New function for finding URL fragments.
2567         (replace_attr): Better handle the case where the original string
2568         is not quoted.  Use find_fragment.
2569         (convert_links): Use replace_attr().
2570
2571 2000-12-31  Dan Harkless  <wget@harkless.org>
2572
2573         * ChangeLog: Since this flat file doesn't have multiple branches,
2574         looking at the dates would make you think that things went into
2575         1.6 that actually just went into the 1.7-dev branch.  Added "[Not
2576         in 1.6 branch.]" where appropriate to clarify.
2577
2578 2000-12-30  Dan Harkless  <wget@harkless.org>
2579
2580         * ftp.c, http.c:  Applied Hack Kampbjørn <hack@hackdata.com>'s
2581         patch to deal with h_errno not being defined in netdb.h under Cygwin.
2582
2583 2000-12-18  Csaba Raduly  <csaba.raduly@sophos.com>
2584
2585         * sysdep.h: Include <malloc.h> and <io.h> under Watcom.
2586
2587 2000-12-17  Igor Khristophorov  <igor@atdot.org>
2588
2589         * http.c (check_end): Fix test for '+' or '-'.
2590
2591 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2592
2593         * url.c (parseurl): Rename inner loop var from i to ind to avoid
2594         clash with the function top-level-declared variable i.
2595         (str_url): Likewise, rename inner-loop i to j.
2596
2597         * recur.c (parse_robots): Don't declare LEN at top of function.
2598         (robots_match): Renamed parameter FORBIDDEN to avoid hiding of
2599         global variable.
2600
2601         * main.c (main): Change erroneous use of bitwise and to logical.
2602
2603         * init.c (cmd_address): Don't heap-allocate `sin'; it can be on
2604         the stack because it will be copied to closure.
2605
2606         Thanks to Csaba Raduly's run of PC-LINT over the sources.
2607
2608 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2609
2610         * http.c (basic_authentication_encode): Use xmalloc(), not
2611         malloc().  Thanks to Csaba Raduly's run of PC-LINT over the
2612         sources.
2613
2614 2000-12-17  Csaba Raduly  <csaba.raduly@sophos.com>
2615
2616         * sysdep.h: Test for __EMX__ rather than for EMXOS2 for OS/2
2617         compilation.
2618
2619 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2620
2621         * mswindows.c: Include <errno.h>.
2622
2623         * gen_sslfunc.c: Include <errno.h>.
2624
2625         * ftp-basic.c: Don't attempt to declare errno or h_errno because
2626         they're not used.
2627
2628         * main.c: Include <errno.h> because errno is used.
2629
2630         * ftp.c: Ditto.
2631
2632         * http.c: Include <netdb.h> for h_errno.
2633
2634 2000-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2635
2636         * html-parse.c (advance_declaration): MSVC assert() chokes on
2637         '\"'.  Use '"' instead.
2638
2639 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2640
2641         * utils.c (xfree_real): Removed.
2642         (xfree_debug): Just call free().
2643
2644         * wget.h (xfree): Make it an alias for free.
2645
2646 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2647
2648         * http.c (http_loop): Furthermore, touch output_document only if
2649         it is known to be an existing regular file.
2650
2651 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2652
2653         * ftp.c (ftp_retrieve_list): Ditto.
2654
2655         * http.c (http_loop): Touch output_document if that is used for
2656         output.
2657
2658 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2659
2660         * http.c: Include gen_sslfunc.h after including Wget's headers.
2661         (persistent_available_p): Needed coma before `int ssl'.
2662
2663 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2664
2665         * ftp.c (ftp_loop_internal): Ditto.
2666
2667         * http.c (http_loop): Use it.
2668
2669         * retr.c (sleep_between_retrievals): New function that handles the
2670         logic of opt.wait and opt.waitretry.
2671
2672 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2673
2674         * rbuf.h: Implement only a single version of RBUF_READCHAR, using
2675         rbuf_read_bufferful when the buffer is depleted.
2676
2677         * rbuf.c (rbuf_read_bufferful): New function.
2678
2679 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2680
2681         * gen_sslfunc.h: Use ansi2knr style function declarations.
2682
2683         * gen_sslfunc.c: Reformat according to the GNU coding standards.
2684         More should be done.
2685
2686         * http.c (persistent_available_p): Place the cheap SSL test nearer
2687         the top of the function.
2688         (CLOSE_FINISH, CLOSE_INVALIDATE): Define only one version of each.
2689
2690 2000-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
2691
2692         * url.c (init_unsafe_char_table): Reinstate space as an unsafe
2693         char.
2694
2695 2000-12-03  Christian Fraenkel <christian.fraenkel@gmx.net>
2696
2697         * Makefile.in: added gen_sslfunc object
2698         * config.h.in: added HAVE_SSL define
2699         * connect.c: changed select_fd from static int to int
2700         * connect.h: ditto
2701         * gen_sslfunc.h: New file
2702         * gen_sslfunc.c: ditto
2703         * http.c: added HTTPS fuctionality
2704         * retrc.c: ditto
2705         * url.c: ditto
2706         * init.c: added opt.httpsproxy
2707         * options.h: ditto
2708         * rbuf.h: added alternate rbuf struct
2709         * wget.h: added CONSSLERR
2710         * rbuf.c: ditto
2711
2712         * http.c: Added HTTPS fuctionality.
2713
2714         * retrc.c: Ditto.
2715
2716         * url.c: Ditto.
2717
2718         * init.c: Added opt.httpsproxy.
2719
2720         * options.h: Ditto.
2721
2722         * rbuf.h: Added alternate rbuf struct.
2723
2724         * wget.h: Added CONSSLERR.
2725
2726         * rbuf.c: Ditto.
2727
2728 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2729
2730         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
2731         "ignore_perms" to ignore file and directory permissions for
2732         Windows NT FTP server listings.
2733         (ftp_parse_winnt_ls): New function.
2734         (ftp_parse_ls): Parses UNIX and Windows NT listings
2735         separately. Simple heuristics for distinguishing between UNIX and
2736         MS-DOS-like FTP listing provided by Windows NT FTP service.
2737
2738 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2739
2740         * ftpparse.c, ftpparse.h: New files.
2741
2742         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
2743         only. Use ftp_parse_nonunix_ls otherwise.
2744         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
2745         exotic FTP servers.
2746
2747         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
2748         FTP servers.
2749
2750         * ftp.c: New static wariables host_type, pwd, and pwd_len.
2751         (getftp): Support for VMS. Support for FTP servers that do not
2752         place you in the root directory after login.
2753         (ftp_retrieve_list): VMS is silent about the real file size, issue
2754         a more appropriate message.
2755         (ftp_get_listing): Pass host_type to ftp_parse_ls.
2756
2757         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
2758
2759 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2760
2761         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
2762         "ignore_perms" to ignore file and directory permissions for
2763         Windows NT FTP server listings.
2764         (ftp_parse_winnt_ls): New function.
2765         (ftp_parse_ls): Parses UNIX and Windows NT listings
2766         separately. Simple heuristics for distinguishing between UNIX
2767         and MS-DOS-like FTP listing provided by Windows NT FTP service.
2768
2769 2000-11-29  John Summerfield  <summer@OS2.ami.com.au>
2770
2771         * netrc.c (parse_netrc): Get rid of line ending.
2772
2773 2000-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2774
2775         * ftp.c (ftp_retrieve_list): Undo typo "fix" until resolution by
2776         Dan.
2777
2778 2000-11-24  Karl Eichwalder  <ke@suse.de>
2779
2780         * main.c (print_help): Untabify.
2781
2782 2000-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2783
2784         * utils.c (xrealloc_debug): Do the unregister/register thing only
2785         if the pointer has actually changed.
2786         (xmalloc_real): Declare `static' in DEBUG_MALLOC builds.
2787         (xfree_real): Ditto.
2788         (xrealloc_real): Ditto.
2789         (xstrdup_real): Ditto.
2790
2791 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
2792
2793         * ftp.c (getftp): ftp_getaddress() returns a malloc'ed copy of the
2794         string; no need to strdup() it.
2795         (getftp): Make pwd_len a local variable.
2796         (ftp_loop): Free PWD before returning.
2797
2798         * init.c (cleanup): Free opt.ftp_pass only if it's non-NULL.
2799
2800 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
2801
2802         * all: Use xfree() instead of free.
2803
2804         * utils.c (xfree): New function.
2805
2806 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2807
2808         * url.c (convert_links): HTML-quote the converted string.
2809
2810         * utils.c (html_quote_string): Move here from ftp-ls.c
2811         (html_quote_string): Make non-static; declare in utils.h.
2812         (html_quote_string): Convert SP to &#32;.
2813
2814 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2815
2816         * ftp.c (getftp): Reformat Jan's code according to GNU coding
2817         standards; remove (debugging?) printf's; use '\0' for the ASCII
2818         zero character.  Use alloca() instead of malloc() for
2819         inter-function temporary allocations.
2820
2821 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2822
2823         * ftpparse.c, ftpparse.h: New files.
2824
2825         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
2826         only. Use ftp_parse_nonunix_ls otherwise.
2827         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
2828         exotic FTP servers.
2829
2830         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
2831         FTP servers.
2832
2833         * ftp.c: New static wariables host_type, pwd, and pwd_len.
2834         (getftp): Support for VMS. Support for FTP servers that do not
2835         place you in the root directory after login.
2836         (ftp_retrieve_list): VMS is silent about the real file size, issue
2837         a more appropriate message.
2838         (ftp_get_listing): Pass host_type to ftp_parse_ls.
2839
2840         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
2841
2842 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2843
2844         * hash.c (hash_table_put): Don't overwrite deleted mappings.
2845
2846 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2847
2848         * hash.c (find_mapping): New function.
2849         (hash_table_get): Use it.
2850         (hash_table_get_pair): Ditto.
2851         (hash_table_exists): Ditto.
2852         (hash_table_remove): Ditto.
2853         (hash_table_remove): Really delete the entry if the mapping
2854         following LOCATION is empty.
2855
2856         * utils.c (string_set_add): Check whether the element has existed
2857         before.
2858
2859         * hash.c (hash_table_get_pair): New function.
2860
2861 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2862
2863         * http.c (http_process_type): Ignore trailing whitespace; use
2864         strdupdelim().
2865
2866         * recur.c (recursive_retrieve): Use the new `convert' field.
2867         (convert_all_links): Ditto.
2868         (convert_all_links): Don't respect meta_disallow_follow.
2869
2870         * html-url.c (handle_link): Fill out link_relative_p and
2871         link_complete_p.
2872
2873         * url.h (struct _urlpos): Make elements more readable.
2874
2875         * recur.c (recursive_retrieve): Call slist_prepend instead of
2876         slist_append.
2877         (convert_all_links): Call slist_nreverse before iterating through
2878         urls_html.
2879
2880         * utils.c (slist_prepend): New function.
2881         (slist_nreverse): Ditto.
2882
2883 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2884
2885         * http.c (check_end): Constify.
2886
2887 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2888
2889         * http.c (http_loop): If username and password are known, try the
2890         `Basic' authentication scheme by default.
2891
2892         * connect.h: Declare test_socket_open.
2893
2894 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2895
2896         * version.c: Bump version from 1.5.3+dev to 1.7-dev.
2897
2898 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2899
2900         * http.c (gethttp): Don't use the return value of sprintf().
2901         (gethttp): Inhibit keep-alive if opt.http_keep_alive is 0.
2902
2903 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2904
2905         * recur.c (recursive_retrieve): Print the "so we don't load"
2906         debugging message only if we really don't load.
2907
2908         * http.c (gethttp): Inhibit keep-alive if proxy is being used.
2909         (gethttp): Don't request keep-alive if keep-alive is inhibited.
2910
2911 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2912
2913         * http.c (gethttp): Make the HTTP persistent connections more
2914         robust.
2915
2916 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2917
2918         * retr.c (get_contents): If use_expected, make sure that the
2919         appropriate amount of data is being read.
2920
2921         * http.c (gethttp): Check for both `Keep-Alive: ...' and
2922         `Connection: Keep-Alive'.
2923
2924         * wget.h (DEBUGP): Call debug_logprintf only if opt.debug is
2925         turned on.
2926
2927 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2928
2929         * http.c (connection_available_p): Use it.
2930
2931         * connect.c (test_socket_open): New function.
2932
2933         * http.c (gethttp): Support persistent connections.  Based on the
2934         ideas, and partly on code, by Sam Horrocks <sam@daemoninc.com>.
2935         (register_persistent): New function.
2936         (connection_available_p): Ditto.
2937         (invalidate_connection): Ditto.
2938
2939 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2940
2941         * url.c (convert_links): Handle UREL2ABS case.
2942
2943         * recur.c (recursive_retrieve): Instead of the list
2944         urls_downloaded, use hash tables dl_file_url_map and
2945         dl_url_file_map.
2946         (convert_all_links): Use them to retrieve data.
2947
2948         * host.c (clean_hosts): Free the hash tables.
2949
2950         * main.c (private_initialize): Call host_init().
2951
2952         * host.c (store_hostaddress): Use a saner, hash table-based data
2953         model.
2954         (realhost): Ditto.
2955         (host_init): Initialize the hash tables.
2956
2957 2000-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2958
2959         * utils.c (slist_append): Eviscerate NOSORT.  Hash tables are now
2960         used for what the sorted slists used to be used for.
2961         (slist_contains): Don't rely on the list being sorted.
2962         (slist_append): Simplify the code.
2963
2964         * recur.c (recursive_cleanup): Use free_string_set.
2965
2966         * utils.c (string_set_add, string_set_exists, string_set_free):
2967         New functions for easier freeing of hash tables whose keys are
2968         strdup'ed strings.
2969
2970         * recur.c (recursive_retrieve): Use the hash table functions for
2971         storing undesirable URLs.
2972
2973         * hash.c: New file.
2974
2975 2000-11-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2976
2977         * main.c (private_initialize): Call url_init.
2978         (main): Call private_initialize.
2979
2980         * url.c (unsafe_char_table): New table.
2981         (UNSAFE_CHAR): Use it.
2982         (init_unsafe_char_table): New function.
2983         (url_init): New function; call init_unsafe_char_table.
2984
2985 2000-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2986
2987         * mswindows.h: Define snprintf and vsnprintf to _snprintf and
2988         _vsnprintf respectively.
2989
2990 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
2991
2992         * config.h.in: Do the _XOPEN_SOURCE and _SVID_SOURCE things only
2993         on Linux.
2994
2995 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
2996
2997         * html-url.c (handle_link): Handle HTML fragment identifiers.
2998
2999         * recur.c (recursive_retrieve): If norobot info is respected and
3000         the file is specified not to be followed by robots, respect that.
3001
3002         * html-url.c (collect_tags_mapper): Handle <meta name=robots
3003         content=X>.  For us the important cases are where X is NONE or
3004         where X contains NOFOLLOW.
3005         (get_urls_html): Propagate that information to the caller.
3006
3007 2000-11-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3008
3009         * url.c (convert_links): Unlink the file we might be reading from
3010         before writing to it.
3011         (convert_links): Use alloca instead of malloc for
3012         filename_plus_orig_suffix.
3013
3014 2000-11-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3015
3016         * host.c (realhost): Add HOST to the list with quality==0 only if
3017         it wasn't already there.
3018         Based on analysis by Lu Guohan <feng@public.bjnet.edu.cn>.
3019
3020 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3021
3022         * url.c (get_urls_file): Ditto.
3023         (convert_links): Ditto.
3024
3025         * html-url.c (get_urls_html): Use read_file() instead of
3026         load_file().
3027
3028         * utils.c (read_file): New function, instead of the old
3029         load_file().
3030         (read_file_free): Ditto.
3031
3032         * url.c (findurl): Search only for the supported protocols.
3033         (convert_links): Use fwrite() when writing out a region of
3034         characters.
3035
3036 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3037
3038         * ftp-ls.c: Move html_quote_string and ftp_index here.
3039
3040         * url.c: Remove get_urls_html, since that's now in html-url.c.
3041
3042         * html-url.c: New file.
3043
3044         * html-parse.c: New file.
3045
3046 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3047
3048         * init.c (run_wgetrc): Don't bother killing off '\r' since
3049         pars_line() skips whitespace at end of line anyway.
3050         (parse_line): Oops, it didn't.  Now it does.
3051
3052         * recur.c (parse_robots): Ditto here.
3053
3054         * ftp-ls.c (ftp_parse_unix_ls): Kill off the newline character
3055         manually because read_whole_line no longer does.
3056
3057         * utils.c (read_whole_line): Rewrite to: a) use less memory
3058         (reallocates to needed size after work), b) work faster -->
3059         fgets() instead of getc, c) be more correct --> doesn't kill the
3060         newline character at the end of line.
3061
3062 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3063
3064         * init.c (comind): Initialize MAX to array size - 1.
3065
3066 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3067
3068         * url.c (construct): Changed last_slash[-1] to *(last_slash - 1).
3069         Suggested by Edward J. Sabol.
3070
3071 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3072
3073         * url.c (construct): Handle the case where host name is not
3074         followed by a slash.
3075
3076 2000-11-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3077
3078         * init.c: commands[] need to be sorted!  ("base" wasn't.)
3079
3080 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3081
3082         * wget.h (DO_REALLOC_FROM_ALLOCA): Use braces to disambiguate
3083         `if'.
3084
3085 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3086
3087         * url.c (construct): Insert unneeded initialization for the
3088         compiler to shut up.
3089
3090         * config.h.in: Define _XOPEN_SOURCE to 500 to get the prototype
3091         for strptime() (*duh*).  Define _SVID_SOURCE to get S_IFLNK which
3092         otherwise gets lost when you define _XOPEN_SOURCE.
3093
3094         * utils.c (touch): Include the file name in the error message.
3095         From Debian.
3096
3097 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3098
3099         * log.c (logvprintf): Use vsnprintf() in all cases.  If necessary,
3100         resize the buffer to fit the formated message.  That way, messages
3101         of arbitrary size may be printed.
3102         (logvprintf): Use saved_append() to optionally log the last
3103         several lines of output.
3104         (logputs): Ditto.
3105         (log_close): Adapt to new data structures.
3106         (log_dump): Ditto.
3107         (redirect_output): Print messages to stderr, not to stdout.
3108
3109         * log.c (saved_append_1): New function.  Replaces the old logging
3110         system ("log all output until 10M characters") with a new, much
3111         more reasonable one ("log last screenful of text").
3112         (saved_append): New function; call saved_append_1.
3113         (free_log_line): New function.
3114
3115 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3116
3117         * url.c (construct): Fix comment.
3118         (find_last_char): Document.
3119
3120 2000-11-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3121
3122         * snprintf.c: New file.
3123
3124 2000-11-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3125
3126         * wget.h: If HAVE_STDARG_H is not defined, don't declare argument
3127         types to logprintf() and debug_logprintf().
3128
3129 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3130
3131         * ftp.c (ftp_loop_internal): Hide the password from the URL when
3132         printing non-verbose.  Problem spotted by Dariusz Mlynarczyk
3133         <darekm@bydg.lomac.com.pl>.
3134
3135 2000-11-02  Junio Hamano  <junio@twinsun.com>
3136
3137         * ftp-basic.c (ftp_login): Make comparison case-insensitive.
3138
3139 2000-11-02  Tyler Riddle  <triddle@liquidmarket.com>
3140
3141         * http.c (known_authentication_scheme_p): Recognize NTML
3142         authentication.
3143         (create_authorization_line): Treat NTML the same as `Basic'.
3144
3145 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3146
3147         * retr.c (retrieve_url): Free url before returning.
3148         (retrieve_url): Free mynewloc before returning.
3149         Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
3150
3151 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3152
3153         * url.c (parseurl): Remove possible reading past the end of
3154         sup_protos[].  Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
3155
3156 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3157
3158         * main.c (main): In case of opt.downloaded overflowing, print
3159         <overflow> instead of a totally bogus random value.
3160
3161         * retr.c (retrieve_from_file): Ditto.
3162
3163         * recur.c (recursive_retrieve): Ditto.
3164
3165         * main.c (main): Ditto.
3166
3167         * http.c (http_loop): Ditto.
3168
3169         * ftp.c (ftp_loop_internal): Use downloaded_increase() instead of
3170         `+=', and downloaded_exceeds_quota() instead of the simple-minded
3171         check.
3172         (ftp_retrieve_list): Ditto.
3173         (ftp_retrieve_dirs): Ditto.
3174         (ftp_retrieve_glob): Ditto.
3175
3176         * retr.c (downloaded_increase): New function.  Notice overflows of
3177         opt.downloaded.
3178         (downloaded_exceeds_quota): Make sure that opt.downloaded is not
3179         used if it overflowed.
3180
3181         * options.h (struct options): New member downloaded_overflow.
3182
3183 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3184
3185         * wget.h (enum): Remove extra space after last enumeration.
3186
3187 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3188
3189         * main.c (main): Use legible_very_long() for printing
3190         opt.downloaded.
3191
3192         * utils.c (legible_1): New function that operates on strings and
3193         does the brunt of legible()'s work.
3194         (legible): Use legible_1().
3195         (legible_very_long): New function; dump the argument with
3196         sprintf(), and call legible_1().
3197
3198         * options.h (struct options): Use VERY_LONG_TYPE for
3199         opt.downloaded.
3200
3201         * sysdep.h (VERY_LONG_TYPE): Define it to have a 64-bit or greater
3202         type.
3203
3204         * config.h.in: Make sure that SIZEOF_LONG and SIZEOF_LONG_LONG get
3205         defined.  Define HAVE_LONG_LONG if long long is available.
3206
3207 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3208
3209         * utils.c (long_to_string): Update with a later, better version.
3210
3211 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3212
3213         * url.c (path_simplify_with_kludge): New function.
3214         (path_simplify_with_kludge): Disable it.  Instead...
3215         (parse_dir): ...make sure that at this point the right thing is
3216         done, i.e. that "query" part of the URL (?...) is always assigned
3217         to the file, never to the directory portion of the path.
3218
3219 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3220
3221         * retr.c (retrieve_url): Detect redirection cycles.
3222
3223 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3224
3225         * url.c (get_urls_html): Decode HTML entities using
3226         html_decode_entities.
3227
3228         * html.c (htmlfindurl): Don't count the `#' in numeric entities
3229         (&#NNN;) as an HTML fragemnt.
3230         (html_decode_entities): New function.
3231
3232 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3233
3234         * html.c (htmlfindurl): Fix recognition of # HTML fragments.
3235
3236 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3237
3238         * url.c (construct): Rewritten for clarity.  Avoids the
3239         unnecessary copying and stack-allocation the old version
3240         performed.
3241
3242 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3243
3244         * ftp.c (getftp): Ditto.
3245
3246         * http.c (gethttp): Rewind the stream when retrying from scratch.
3247
3248 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3249
3250         * retr.c (retrieve_url): Use url_concat() to handle relative
3251         redirections instead of /ad hoc/ code.
3252
3253         * url.c (url_concat): New function encapsulating weird
3254         construct().
3255         (urllen_http_hack): New function.
3256         (construct): When constructing new URLs, recognize that `?' does
3257         not form part of the file name in HTTP.
3258
3259 2000-10-13  Adrian Aichner  <adrian@xemacs.org>
3260
3261         * retr.c: Add msec timing support for WINDOWS.
3262         * retr.c (reset_timer): GetSystemTime() on WINDOWS.
3263         * retr.c (elapsed_time): Calculate delta time to msec on WINDOWS.
3264
3265 2000-10-27  Dan Harkless  <wget@harkless.org>
3266
3267         * retr.c (retrieve_url): Manually applied T. Bharath
3268         <TBharath@responsenetworks.com>'s patch to get wget to grok
3269         illegal relative URL redirects.  Reformatted and re-commented it.
3270
3271 2000-10-23  Dan Harkless  <wget@harkless.org>
3272
3273         * connect.c (make_connection and bindport): Manually applied Rob
3274         Mayoff <mayoff@dqd.com>'s 1.5.3 patch to add --bind-address,
3275         changing coding style to GNU's.
3276
3277         * ftp.c (ftp_loop_internal): --delete-after wasn't implemented for
3278         files downloaded via FTP.  Per a comment, .listing files were not
3279         counted towards number of bytes and files downloaded because they're
3280         deleted anyway.  Well, they aren't under -nr, so count them then.
3281
3282         * init.c: Manually applied Rob Mayoff's 1.5.3 patch to add
3283         --bind-address, alphabetizing, changing coding style to GNU's,
3284         commenting, and renaming cmd_ip_address() to cmd_address() to
3285         imply hostnames also okay.
3286
3287         * main.c (main): --delete-after didn't delete the root of the
3288         tree.  Ignore --convert-links if --delete-after was specified.
3289         Manually applied Rob Mayoff's 1.5.3 patch to add --bind-address,
3290         fixing duplicate use of added-since-1.5.3 case value.
3291         (print_help): Clarified that --delete-after deletes local files.
3292         Rob forgot to add a line for his new --bind-address option.
3293
3294         * options.h (struct options): Manually applied Rob Mayoff's patch
3295         to add --bind-address (bind_address structure member).
3296
3297         * recur.c (recursive_retrieve): Improved comment; added DEBUGP().
3298         Ignore --convert-links if --delete-after was specified.
3299
3300         * retr.c (retrieve_from_file): Just added a DEBUGP().
3301
3302 2000-10-19  Dan Harkless  <wget@harkless.org>
3303
3304         * ftp.c (ftp_loop_internal): downloaded_file() enumerators changed.
3305         (getftp): Applied Piotr Sulecki <Piotr.Sulecki@ios.krakow.pl>'s
3306         patch to work around FTP servers that incorrectly respond to the
3307         "REST" command with the remaining size rather than the total file size.
3308
3309         * http.c (gethttp): Improved a comment and added code to tack on
3310         ".html" to text/html files without that extension when -E specified.
3311         (http_loop): Use new downloaded_file() enumerators and deal with
3312         the case of gethttp() called xrealloc() on u->local.
3313
3314         * init.c (commands): Added new "htmlextension" command.
3315         Also renamed John Daily's cmd_quad() to the more descriptive
3316         cmd_lockable_boolean(), alpha-sorted the CMD_DECLARE()s and
3317         removed duplicate cmd_boolean() declaration.
3318
3319         * main.c (print_help): Added my new -E / --html-extension option.
3320         (main): Undocumented --email-address option previously used -E synonym.
3321         Stole it away for the much more deserving --html-extension's use.
3322
3323         * options.h (struct options): Added html_extension field.
3324
3325         * url.c (convert_links): URL X that we saved as X.html locally due
3326         to -E needs to be backed up as X.orig, not X.html.orig.  Added comments.
3327         (downloaded_file): Now remembers if we added .html extension to a file.
3328
3329         * url.h (downloaded_file_t): Added extra enumerators to support above.
3330         (downloaded_file): Now takes and returns a downloaded_file_t.
3331
3332         * wget.h (unnamed "dt" enum): Added ADDED_HTML_EXTENSION enumerator.
3333
3334 2000-10-09  Dan Harkless  <wget@harkless.org>
3335
3336         * html.c (htmlfindurl): Added unneeded initialization to quiet warning.
3337
3338         * main.c (print_help): Clarified what --retr-symlinks does.
3339
3340 2000-09-15  John Daily  <jdaily@cyberdude.com>
3341
3342         * init.c: Add support for "always" and "never" values to allow
3343         .wgetrc to override commandline (useful e.g. with .pm files
3344         calling `wget --passive-ftp' when your firewall doesn't allow that).
3345
3346         * ftp.c (getftp): passive_ftp is first option to support always/never.
3347
3348 2000-08-30  Dan Harkless  <wget@harkless.org>
3349
3350         * ftp.c (ftp_retrieve_list): Use new INFINITE_RECURSION #define.
3351
3352         * html.c: htmlfindurl() now takes final `dash_p_leaf_HTML' parameter.
3353         Wrapped some > 80-column lines.  When -p is specified and we're at a
3354         leaf node, do not traverse <A>, <AREA>, or <LINK> tags other than
3355         <LINK REL="stylesheet">.
3356
3357         * html.h (htmlfindurl): Now takes final `dash_p_leaf_HTML' parameter.
3358
3359         * init.c: Added new -p / --page-requisites / page_requisites option.
3360
3361         * main.c (print_help): Clarified that -l inf and -l 0 both allow
3362         infinite recursion.  Changed the unhelpful --mirrior description
3363         to simply give the options it's equivalent to.  Added new -p option.
3364         (main): Added some comments; handle new -p / --page-requisites.
3365
3366         * options.h (struct options): Added new page_requisites field.
3367
3368         * recur.c: Changed "URL-s" to "URLs" and "HTML-s" to "HTMLs".
3369         Calculate and pass down new `dash_p_leaf_HTML' parameter to
3370         get_urls_html().  Use new INFINITE_RECURSION #define.
3371
3372         * retr.c: Changed "URL-s" to "URLs".  get_urls_html() now takes
3373         final `dash_p_leaf_HTML' parameter.
3374
3375         * url.c: get_urls_html() and htmlfindurl() now take final
3376         `dash_p_leaf_HTML' parameter.
3377
3378         * url.h (get_urls_html): Now takes final `dash_p_leaf_HTML' parameter.
3379
3380         * wget.h: Added some comments and new INFINITE_RECURSION #define.
3381
3382 2000-08-23  Dan Harkless  <wget@harkless.org>
3383
3384         * main.c (print_help): -B / --base was not mentioned.
3385
3386 2000-08-22  Dan Harkless  <wget@harkless.org>
3387
3388         * main.c (print_help): Modified -nc description to mention that it
3389         also prevents the creation of multiple versions of the same file
3390         with ".<number>" suffixes.
3391
3392 2000-07-14  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3393
3394         * retr.c (retrieve_url): Consistently strdup opt.referer when
3395         setting u->referer.
3396
3397 2000-06-09  Dan Harkless  <wget@harkless.org>
3398
3399         * main.c (print_help): --help output for --waitretry was over 80 cols.
3400
3401 2000-06-09  Hrvoje Niksic  <hniksic@iskon.hr>
3402
3403         * url.c (encode_string): Fix comment.
3404         Suggested by Herold Heiko <Heiko.Herold@previnet.it>.
3405
3406 2000-06-01  Const Kaplinsky  <const@ce.cctpu.edu.ru>
3407
3408         * ftp.c (ftp_retrieve_list): Change permissions only on plain
3409         files.
3410
3411 2000-06-01  Hrvoje Niksic  <hniksic@iskon.hr>
3412
3413         * url.c (str_url): Print the port number only if it's different
3414         from the default port number for that protocol.
3415
3416 2000-05-22  Dan Harkless  <wget@harkless.org>
3417
3418         * main.c (print_help): Added --help line for Damir Dzeko
3419         <ddzeko@zesoi.fer.hr>'s until-now-undocumented --referer option.
3420         Removed comments that --referer and --waitretry were undocumented.
3421         Changed "`.wgetrc' command" to "`.wgetrc'-style command" on --help
3422         line for --execute.
3423
3424 2000-05-18  Hrvoje Niksic  <hniksic@iskon.hr>
3425
3426         * ftp.c (getftp): Ditto.
3427
3428         * http.c (gethttp): Check for return value of fclose/fflush.
3429
3430 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
3431
3432         * host.c (store_hostaddress): Instead of shifting ADDR, start
3433         copying from the correct address.
3434
3435 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
3436
3437         * http.c (gethttp): Don't free REQUEST -- it was allocated with
3438         alloca().
3439         Pointed out by Gisle Vanem <gvanem@eunet.no>.
3440
3441 2000-04-04  Dan Harkless  <wget@harkless.org>
3442
3443         * host.c (store_hostaddress): R. K. Owen's patch introduces a
3444         "left shift count >= width of type" warning on 32-bit
3445         architectures.  Got rid of it by tricking the compiler w/ a variable.
3446
3447         * url.c (UNSAFE_CHAR): The macro didn't include all the illegal
3448         characters per RFC1738, namely everything above '~'.  It also
3449         generated a warning on OSes where char =~ unsigned char.  Fixed.
3450
3451 1998-10-17  Hrvoje Niksic  <hniksic@srce.hr>
3452
3453         * http.c (http_process_type): Removed needless strdup(), a memory
3454         leak.
3455
3456 1998-09-25  Hrvoje Niksic  <hniksic@srce.hr>
3457
3458         * html.c (htmlfindurl): Set PH to the first occurrence of `#'.
3459
3460 1998-09-25  Simon Munton  <simonm@m4data.co.uk>
3461
3462         * init.c (wgetrc_file_name): Don't free HOME under Windows.
3463
3464 1998-12-01  "R. K. Owen"  <rkowen@Nersc.GOV>
3465
3466         * host.c (store_hostaddress): Fix for big endian 64-bit machines.
3467
3468 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
3469
3470         * url.c (UNSAFE_CHAR): New macro.
3471         (contains_unsafe): Use it.
3472         (encode_string): Ditto.
3473
3474 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
3475
3476         * main.c (i18n_initialize): Use LC_MESSAGES only if available.
3477
3478 2000-03-31  Hrvoje Niksic  <hniksic@srce.hr>
3479
3480         * Use TOUPPER/TOLOWER.
3481
3482 1998-12-22  Alexander V. Lukyanov  <lav@yars.free.net>
3483
3484         * ftp-opie.c (btoe): Zero-terminate OSTORE.
3485
3486 2000-03-21  Hrvoje Niksic  <hniksic@iskon.hr>
3487
3488         * wget.h (DO_REALLOC_FROM_ALLOCA): Ditto.
3489
3490         * sysdep.h (ISALNUM): New macro.
3491         (TOLOWER): Ditto.
3492         (TOUPPER): Ditto.
3493
3494 2000-03-10  Dan Harkless  <wget@harkless.org>
3495
3496         * html.c (idmatch): Implemented checking of my new --follow-tags
3497         and --ignore-tags options.
3498
3499         * init.c (commands): Added comment reminding people adding new
3500         entries doing allocation to add corresponding freeing in cleanup().
3501         (commands): Added new followtags and ignoretags commands.
3502         (cleanup): Free storage for new followtags and ignoretags.
3503
3504         * main.c: Use of "comma-separated list" was random -- normalized
3505         it.  Did some alphabetization.  Added comments pointing out
3506         "Options without arguments" and "Options accepting an argument"
3507         sections of long_options[].  Added new options --follow-tags and
3508         -G / --ignore-tags.  Added comment that Damir's --referer is
3509         currently undocumented.  Added comment that Heiko's --waitretry is
3510         partially undocumented (mentioned in --help but not in
3511         wget.texi).  Moved improperly sorted 24, 129, and 'G' cases.
3512
3513         * options.h (struct options): Added new fields follow_tags and
3514         ignore_tags.
3515
3516         * wget.h: Added "#define EQ 0" so we can say "strcmp(a, b) == EQ".
3517
3518 2000-03-02  Dan Harkless  <wget@harkless.org>
3519
3520         * ftp.c (ftp_loop_internal): Heiko introduced "suggest explicit
3521         braces to avoid ambiguous `else'" warnings.  Eliminated them.
3522
3523         * http.c (gethttp): Dan Berger's query string patch is totally
3524         bogus.  If you have two different URLs, gen_page.cgi?page1 and
3525         get_page.cgi?page2, they'll both be saved as get_page.cgi and the
3526         second will overwrite the first.  Also, parameters to implicit
3527         CGIs, like "http://www.host.com/db/?2000-03-02" cause the URLs to
3528         be printed with trailing garbage characters, and could seg fault.
3529         Backing out the patch, which Dan B. informed me by email was just
3530         a kludge to download StarOffice from Sun made necessary due to
3531         wget's unconditional escaping of certain characters (room for an
3532         option there?).
3533         (http_loop): Heiko introduced "suggest explicit braces to avoid
3534         ambiguous `else'" warnings.  Eliminated them.
3535
3536         * main.c: Heiko's --wait / --waitretry backwards compatibility
3537         code looks to have been totally untested -- automatic variable
3538         'wr' was used without being initialized, and a long int was passed
3539         into setval()'s char* val parameter.
3540
3541         * recur.c (parse_robots): Applied Edward J. Sabol
3542         <sabol@alderaan.gsfc.nasa.gov>'s patch for Guan Yang's reported
3543         problem with "User-agent:<space>*<space>" lines in robots.txt.
3544
3545         * url.c (parseurl, str_url): Removing Dan Berger's code (see
3546         http.c above for explanation).
3547
3548 1999-08-25  Heiko Herold  <Heiko.Herold@previnet.it>
3549
3550         * ftp.c: Respect new option waitretry.
3551
3552 2000-01-30  Damir Dzeko  <ddzeko@zesoi.fer.hr>
3553
3554         * http.c (gethttp): Send custom Referer, if required.
3555
3556 1999-09-24  Charles G Waldman  <cgw@fnal.gov>
3557
3558         * netrc.c (parse_netrc): Allow passwords to contain spaces.
3559
3560         * netrc.c (parse_netrc): New function.
3561
3562 1999-09-17  Dan Berger  <dberger@ix.netcom.com>
3563
3564         * http.c (gethttp): Send it.
3565
3566         * url.c (parseurl): Detect query string in HTTP URL-s.
3567         (str_url): Print it.
3568
3569 2000-03-02  HIROSE Masaaki  <hirose31@t3.rim.or.jp>
3570
3571         * html.c (html_allow): Add <link href=...> and <script src=...>.
3572
3573 1999-05-02  andrew deryabin  <djsf@softhome.net>
3574
3575         * http.c (gethttp): Specify port in `Host' header only if it's
3576         different from 80.
3577
3578 1998-11-03  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
3579
3580         * recur.c (recursive_retrieve): If a finite maximum depth is
3581         specified, and we're are already at that depth, don't download the
3582         HTML file for parsing.
3583
3584 2000-03-01  Dan Harkless  <wget@harkless.org>
3585
3586         * ftp.c (ftp_loop_internal): Call new downloaded_file() function,
3587         even though we don't do conversion on HTML files retrieved via
3588         FTP, so _current_ usage of downloaded_file() makes this call unneeded.
3589         (ftp_retrieve_list): Added a comment saying where we need to
3590         stat() a .orig file if FTP'd HTML file conversion is ever implemented.
3591         (ftp_retrieve_list): "Local file '%s' is more recent," is sometimes
3592         a lie -- reworded as "Server file no newer than local file '%s' --".
3593
3594         * http.c (http_loop): Fixed a typo and clarified a comment.
3595         (http_loop): When -K and -N are specified together, compare size
3596         and timestamp of server file X against local file X.orig (if
3597         extant) rather than converted local file X.
3598         (http_loop): "Local file '%s' is more recent," is sometimes a lie
3599         -- reworded as "Server file no newer than local file '%s' --".
3600         (http_loop): Call new downloaded_file() function to prevent
3601         wrongful overwriting of .orig file when -N is specified.
3602
3603         * url.c (convert_links): When -K specified, only rename X to
3604         X.orig if downloaded_file() returns TRUE.  Otherwise when we skip
3605         file X due to -N, we clobber an X.orig from a previous invocation.
3606         (convert_links): Call the failsafe xstrdup(), not the real strdup().
3607         (convert_links): Added a note asking anyone who understands how
3608         multiple URLs can correspond to a single file to comment it.
3609         (downloaded_file): Added this new function.
3610
3611         * url.h (downloaded_file): Added prototype for this new function
3612         as well as its downloaded_file_t enum type.
3613
3614         * wget.h (boolean): Added this new typedef and TRUE and FALSE #defines.
3615
3616 2000-02-29  Dan Harkless  <wget@harkless.org>
3617
3618         * version.c: Upped version to developer-only "1.5.3+dev".
3619
3620 2000-02-18  Dan Harkless  <wget@harkless.org>
3621
3622         * init.c (backup_converted): Added this new option.
3623
3624         * main.c (-K / --backup-converted): Added this new option.
3625
3626         * options.h (backup_converted): Added this new option.
3627
3628         * url.c (convert_links): When backup_converted is specified, save
3629         file X as X.orig before converting.
3630
3631         * url.h (urlpos): Fixed typo -- said "Rekative" instead of "Relative".
3632
3633 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
3634
3635         * version.c: Wget 1.5.3 is released.
3636
3637 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
3638
3639         * host.c (ftp_getaddress): Don't warn when reverse-lookup of local
3640         address doesn't yield FQDN.
3641
3642 1998-09-21  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
3643
3644         * cmpt.c (strerror): Fix declaration of sys_errlist.
3645
3646 1998-09-11  Hrvoje Niksic  <hniksic@srce.hr>
3647
3648         * main.c (main): Don't use an array subscript as the first
3649         argument to STRDUP_ALLOCA.
3650         From Kaveh R. Ghazi.
3651
3652 1998-09-11  Szakacsits Szabolcs  <szaka@sienet.hu>
3653
3654         * html.c (htmlfindurl): Download table background.
3655
3656 1998-09-11  Hans Grobler  <grobh@conde.ee.sun.ac.za>
3657
3658         * init.c (parse_line): Would free *com before allocating it.
3659         (parse_line): Would free com instead of *com.
3660
3661 1998-09-10  Howard Gayle  <howard@fjst.com>
3662
3663         * url.c (get_urls_html): Would drop the last character of the
3664         link.
3665
3666 1998-09-10  Hrvoje Niksic  <hniksic@srce.hr>
3667
3668         * http.c (http_loop): Don't print status code if quiet.
3669
3670 1998-09-10  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
3671
3672         * log.c: Use <stdarg.h> only when __STDC__.
3673
3674 1998-09-10  Adam D. Moss  <adam@foxbox.org>
3675
3676         * html.c (htmlfindurl): Download <layer src=...>.
3677
3678 1998-09-10  Howard Gayle  <howard@fjst.com>
3679
3680         * ftp.c (ftp_retrieve_list): Don't update the time stamp of a file
3681         not retrieved.
3682
3683 1998-06-27  Hrvoje Niksic  <hniksic@srce.hr>
3684
3685         * utils.c: Include <libc.h> on NeXT.
3686
3687 1998-06-26  Heinz Salzmann  <heinz.salzmann@intermetall.de>
3688
3689         * url.c (get_urls_html): Fix calculation of URL position.
3690
3691 1998-06-23  Hrvoje Niksic  <hniksic@srce.hr>
3692
3693         * version.c: Wget 1.5.2 is released.
3694
3695 1998-06-23  Dave Love  <d.love@dl.ac.uk>
3696
3697         * ftp.c, init.c, netrc.c: Include errno.h.
3698
3699         * http.c: Include errno.h and time header.
3700
3701         * Makefile.in (exext): Define.
3702         (install.bin, uninstall.bin): Use it.
3703
3704 1998-06-21  Hrvoje Niksic  <hniksic@srce.hr>
3705
3706         * http.c (http_loop): Don't attempt to compare local and remote
3707         sizes if the remote size is unknown.
3708
3709 1998-06-16  Hrvoje Niksic  <hniksic@srce.hr>
3710
3711         * url.c (get_urls_html): Use malloc() instead of alloca in the
3712         loop.
3713
3714 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
3715
3716         * version.c: Wget 1.5.2-b4 is released.
3717
3718 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
3719
3720         * url.c (get_urls_html): Ignore spaces before and after the URI.
3721
3722 1998-06-08  Wanderlei Antonio Cavassin  <cavassin@conectiva.com.br>
3723
3724         * ftp.c (getftp): Translate `done'.
3725
3726 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
3727
3728         * version.c: Wget 1.5.2-b3 is released.
3729
3730 1998-06-06  Alexander Kourakos  <awk@bnt.com>
3731
3732         * init.c (cleanup): Close dfp, don't free it.
3733
3734 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
3735
3736         * utils.c (make_directory): Twiddle.
3737
3738         * config.h.in: Added template for access().
3739
3740 1998-06-05  Mathieu Guillaume  <mat@cythere.com>
3741
3742         * html.c (htmlfindurl): Download <input src=...>
3743
3744 1998-06-03  Hrvoje Niksic  <hniksic@srce.hr>
3745
3746         * utils.c (file_exists_p): Use access() with two arguments.
3747
3748 1998-05-27  Martin Kraemer  <Martin.Kraemer@mch.sni.de>
3749
3750         * netrc.c (parse_netrc): Correct logic.
3751
3752 1998-05-27  Hrvoje Niksic  <hniksic@srce.hr>
3753
3754         * ftp.c (getftp): Added `break'; suggested by Lin Zhe Min
3755         <ljm@ljm.wownet.net>.
3756
3757 1998-05-24  Hrvoje Niksic  <hniksic@srce.hr>
3758
3759         * version.c: Wget 1.5.2-b2 is released.
3760
3761 1998-05-18  Juan Jose Rodriguez  <jcnsoft@jal1.telmex.net.mx>
3762
3763         * mswindows.h: Don't translate mkdir to _mkdir under Borland.
3764
3765 1998-05-17  Hrvoje Niksic  <hniksic@srce.hr>
3766
3767         * retr.c (elapsed_time): Return correct value when
3768         HAVE_GETTIMEOFDAY is undefined.
3769
3770 1998-05-13  Hrvoje Niksic  <hniksic@srce.hr>
3771
3772         * version.c: Wget 1.5.2-b1 is released.
3773
3774 1998-05-08  Hrvoje Niksic  <hniksic@srce.hr>
3775
3776         * getopt.c (_getopt_internal): Use exec_name instead of argv[0].
3777         (_getopt_internal): Don't translate `#if 0'-ed strings.
3778
3779 1998-05-06  Douglas E. Wegscheid  <wegscd@whirlpool.com>
3780
3781         * mswindows.c (ws_handler): Use fork_to_background().
3782
3783 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
3784
3785         * version.c: Wget 1.5.1 is released.
3786
3787 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
3788
3789         * http.c (parse_http_status_line): Avoid `minor' and `major'
3790         names.
3791
3792 1998-05-02  Hrvoje Niksic  <hniksic@srce.hr>
3793
3794         * utils.c (mkdirhier): Renamed to make_directory.
3795
3796 1998-05-01  Hrvoje Niksic  <hniksic@srce.hr>
3797
3798         * mswindows.c (fork_to_background): Define under Windows.
3799
3800         * utils.c (fork_to_background): New function.
3801
3802         * html.c (htmlfindurl): Removed rerdundant casts.
3803
3804 1998-05-01  Douglas E. Wegscheid  <wegscd@whirlpool.com>
3805
3806         * mswindows.c (ws_mypath): Cache the path.
3807
3808 1998-04-30  Douglas E. Wegscheid  <wegscd@whirlpool.com>
3809
3810         * ftp.h: Prefix enum ftype members with FT_.
3811
3812         * ftp-ls.c, ftp.c, html.h: Adjust accordingly.
3813
3814         * mswindows.h: Use stat under Borland, _stat under MSVC.
3815
3816 1998-04-28  Hrvoje Niksic  <hniksic@srce.hr>
3817
3818         * http.c (known_authentication_scheme_p): New function.
3819         (gethttp): Handle authorization more correctly.
3820
3821         * ftp-basic.h: Removed.
3822
3823         * cmpt.h: Removed.
3824
3825         * utils.c: Include <unistd.h> before <pwd.h>; needed under SunOS
3826         with gcc 2.8.
3827         (numdigit): Use `while' loop.
3828
3829         * http.c (create_authorization_line): Detect authentication
3830         schemes case-insensitively.
3831
3832         * http.c (extract_header_attr): Use strdupdelim().
3833         (digest_authentication_encode): Move declaration of local
3834         variables to smaller scope.
3835         (digest_authentication_encode): Reset REALM, OPAQUE and NONCE.
3836         (create_authorization_line): Detect authentication schemes
3837         case-insensitively.
3838
3839         * utils.c (touch): Constify.
3840
3841         * http.c (gethttp): Report a nicer error when no data is received.
3842
3843         * rbuf.h (RBUF_READCHAR): Ditto.
3844
3845         * ftp-basic.c (ftp_response): Use sizeof.
3846
3847 1998-04-27  Hrvoje Niksic  <hniksic@srce.hr>
3848
3849         * retr.c (print_percentage): EXPECTED is long, not int.
3850         (print_percentage): Use floating-point arithmetic to avoid
3851         overflow with large files' sizes multiplied with 100.
3852
3853 1998-04-27  Gregor Hoffleit  <flight@mathi.uni-heidelberg.de>
3854
3855         * config.h.in: Added pid_t stub.
3856
3857         * sysdep.h (S_ISREG): Moved here from mswindows.h (NeXT doesn't
3858         define it).
3859
3860 1998-04-20  Hrvoje Niksic  <hniksic@srce.hr>
3861
3862         * version.c: Wget 1.5.0 is released.
3863
3864 1998-04-18  Hrvoje Niksic  <hniksic@srce.hr>
3865
3866         * url.c (str_url): Ditto.
3867
3868         * ftp-basic.c (ftp_rest): Use new name.
3869
3870         * utils.c (long_to_string): Renamed from prnum().
3871
3872 1998-04-16  Hrvoje Niksic  <hniksic@srce.hr>
3873
3874         * version.c: Wget 1.5-b17 is released.
3875
3876 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
3877
3878         * headers.c (header_get): New argument FLAGS.
3879
3880         * http.c (gethttp): If request is malformed, bail out of the
3881         header loop.
3882         (gethttp): Check for empty header *after* the status line checks.
3883         (gethttp): Disallow continuations for status line.
3884
3885 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
3886
3887         * version.c: Wget 1.5-b16 is released.
3888
3889 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
3890
3891         * init.c (commands): Renamed `always_rest' to `continue'.
3892
3893 1998-04-05  Hrvoje Niksic  <hniksic@srce.hr>
3894
3895         * all: Use it.
3896
3897         * log.c (logputs): New argument.
3898         (logvprintf): Ditto.
3899         (logprintf): Ditto.
3900
3901 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
3902
3903         * http.c (http_atotm): Update comment.
3904
3905         * main.c (i18n_initialize): Set LC_MESSAGES, not LC_ALL.
3906
3907         * wget.h: Renamed ENABLED_NLS to HAVE_NLS.
3908
3909         * main.c (i18n_initialize): New function.
3910         (main): Use it.
3911
3912         * log.c: Include <unistd.h>.
3913
3914         * retr.c (show_progress): Cast alloca to char *.
3915
3916 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
3917
3918         * version.c: Wget 1.5-b15 is released.
3919
3920 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
3921
3922         * utils.h: Declare file_non_directory_p().
3923
3924 1998-04-03  Hrvoje Niksic  <hniksic@srce.hr>
3925
3926         * main.c (main): It's `tries', not `numtries' now.
3927
3928 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
3929
3930         * init.c (getperms): Removed.
3931
3932 1998-04-01  Tim Charron  <tcharron@interlog.com>
3933
3934         * log.c (logvprintf): Don't use ARGS twice.
3935
3936 1998-04-01  John  <john@futuresguide.com>
3937
3938         * mswindows.c: Cleaned up.
3939
3940 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
3941
3942         * version.c: Wget 1.5-b14 is released.
3943
3944 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
3945
3946         * ftp-opie.c (STRLEN4): New macro.
3947         (btoe): Use it.
3948
3949 1998-04-01  Junio Hamano  <junio@twinsun.com>
3950
3951         * http.c: Document all the Digest functions.
3952
3953 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
3954
3955         * utils.c (file_non_directory_p): Renamed from isfile().
3956
3957         * mswindows.h (S_ISREG): New macro, suggested by Tim Adam.
3958
3959 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
3960
3961         * utils.c (mkdirhier): Use 0777 instead of opt.dirmode.
3962
3963         * init.c (cmd_spec_dotstyle): Use 48 dots per line for binary
3964         style.
3965         (cmd_permissions): Removed.
3966
3967         * config.h.in: Add template for WORDS_BIGENDIAN.
3968
3969 1998-03-31  Junio Hamano  <junio@twinsun.com>
3970
3971         * http.c (HEXD2asc): New macro.
3972         (dump_hash): Use it.
3973
3974 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
3975
3976         * version.c: Wget 1.5-b13 is released.
3977
3978 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
3979
3980         * main.c (main): Don't try to use `com'.
3981
3982 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
3983
3984         * init.c (cmd_permissions): New function.
3985
3986 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
3987
3988         * version.c: Wget 1.5-b12 is released.
3989
3990 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
3991
3992         * init.c (commands): Renamed `numtries' to `tries'.
3993         (cmd_spec_debug): Removed.
3994         (home_dir): Under Windows, return `C:\' if HOME is undefined.
3995
3996 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
3997
3998         * config.h.in: Define _XOPEN_SOURCE.
3999
4000         * init.c (check_user_specified_header): New function.
4001         (cmd_spec_header): Use it.
4002         (cmd_spec_useragent): New function.
4003
4004 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
4005
4006         * version.c: Wget 1.5-b11 is released.
4007
4008 1998-03-28  Hrvoje Niksic  <hniksic@srce.hr>
4009
4010         * wget.h: Include <libintl.h> only if NLS is enabled.
4011
4012 1998-03-26  Hrvoje Niksic  <hniksic@srce.hr>
4013
4014         * options.h (struct options): Made `wait' a long.
4015         (struct options): Ditto for `timeout'.
4016
4017 1998-03-19  Hrvoje Niksic  <hniksic@srce.hr>
4018
4019         * utils.c (exists): Renamed to file_exists_p.
4020         (file_exists_p): Use access() if available.
4021
4022 1998-03-17  Hrvoje Niksic  <hniksic@srce.hr>
4023
4024         * utils.c (memfatal): Set save_log_p to 0 to avoid potential
4025         infloop.
4026
4027         * log.c: do_logging -> save_log_p.
4028
4029         * config.h.in: Added template for HAVE_VSNPRINTF.
4030
4031 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
4032
4033         * init.c: Ditto.
4034
4035         * http.c: Protect declaration against non-ANSI compiler.
4036
4037         * log.c (logvprintf): Use vsnprintf() if available.
4038
4039         * getopt.c (main): Don't translate test stuff.
4040
4041 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
4042
4043         * version.c: Wget 1.5-b10 is released.
4044
4045 1998-03-11  Hrvoje Niksic  <hniksic@srce.hr>
4046
4047         * ftp.c (getftp): Don't translate "CWD %s".
4048
4049         * wget.h (GCC_FORMAT_ATTR): Renamed from FORMAT_ATTR.
4050
4051 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
4052
4053         * ftp-opie.c (btoe): Use memcpy() instead of strncat().
4054
4055         * log.c (logputs): New function.
4056         (logvprintf): Renamed from vlogmsg; use logputs().
4057
4058         * retr.c (show_progress): Print `[100%]' when the retrieval is
4059         finished.
4060
4061         * init.c (run_wgetrc): Use FILE, not PATH.
4062         (wgetrc_file_name): Ditto.
4063
4064 1998-03-07  Tim Adam  <tma@osa.com.au>
4065
4066         * recur.c (parse_robots): Correctly reset `entries' on empty
4067         disallow.
4068
4069 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
4070
4071         * init.c (cmd_spec_debug): Use cmd_boolean().
4072
4073 1998-02-23  Hrvoje Niksic  <hniksic@srce.hr>
4074
4075         * http.c (gethttp): Create proxy-authorization correctly.
4076
4077 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
4078
4079         * md5.c: Ditto.
4080
4081         * getopt.c: Use ANSI function definitions.
4082
4083         * ftp-opie.c: New file.
4084
4085         * options.h: Don't redefine EXTERN.
4086
4087         * init.c: Sort it correctly.
4088
4089 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
4090
4091         * version.c: Wget 1.5-b9 is released.
4092
4093 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
4094
4095         * recur.c (recursive_retrieve): Reset `first_time'.
4096
4097         * ftp.c (getftp): Added `default' clause to switches of uerr_t.
4098
4099         * rbuf.c (rbuf_peek): Simplified.
4100         (rbuf_flush): Use MINVAL.
4101
4102         * wget.h (MINVAL): Moved from url.h.
4103
4104         * rbuf.h (RBUF_FD): New macro.
4105
4106         * url.c (add_url): Add to the head of the list.
4107
4108         * ftp.c (ftp_retrieve_list): Set the permissions to downloaded
4109         file.
4110         (getftp): Set the default permissions to 0600.
4111
4112 1998-02-21  Hrvoje Niksic  <hniksic@srce.hr>
4113
4114         * url.c (get_urls_html): Ditto.
4115         (convert_links): Ditto.
4116
4117         * recur.c (parse_robots): Ditto.
4118
4119         * html.c (ftp_index): Ditto.
4120
4121         * ftp-ls.c (ftp_parse_unix_ls): Open file as binary.
4122
4123         * init.c (defaults): Initialize `opt' to zero via memset.
4124
4125         * http.c (digest_authentication_encode): goto considered harmful.
4126
4127 1998-02-19  Hrvoje Niksic  <hniksic@srce.hr>
4128
4129         * ftp.c (delelement): Simplify and fix leak.
4130
4131 1998-02-18  Hrvoje Niksic  <hniksic@srce.hr>
4132
4133         * http.c (dump_hash): Use HEXD2ASC instead of home-grown stuff.
4134
4135         * url.h (HEXD2ASC): Removed warning.
4136
4137         * init.c (comind): Use binary search.
4138         (commands): Reorganized.
4139         (setval): Ditto.
4140         (cmd_boolean): New function.
4141         (cmd_number): Ditto.
4142         (cmd_number_inf): Ditto.
4143         (cmd_string): Ditto.
4144         (cmd_vector): Ditto.
4145         (cmd_directory_vector): Ditto.
4146         (cmd_bytes): Ditto.
4147         (cmd_time): Ditto.
4148         (cmd_spec_debug): Ditto.
4149         (cmd_spec_dirmode): Ditto.
4150         (cmd_spec_dirstruct): Ditto.
4151         (cmd_spec_dotstyle): Ditto.
4152         (cmd_spec_header): Ditto.
4153         (cmd_spec_htmlify): Ditto.
4154         (cmd_spec_mirror): Ditto.
4155         (cmd_spec_outputdocument): Ditto.
4156         (cmd_spec_recursive): Ditto.
4157         (settime): Merged with cmd_time().
4158         (setbytes): Merged with cmd_bytes().
4159         (setonoff): Merged with cmd_boolean().
4160         (onoff): Ditto.
4161
4162 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
4163
4164         * Makefile.in (distclean): Remove `config.h'.
4165
4166 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
4167
4168         * version.c: Wget 1.5-b8 is released.
4169
4170 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
4171
4172         * http.c (digest_authentication_encode): New function.
4173         (create_authorization_line): Use it.
4174         (dump_hash): New function.
4175         (digest_authentication_encode): Use it.
4176
4177         * fnmatch.c: Renamed from `mtch.c'.
4178
4179 1998-02-15  Karl Eichwalder  <ke@suse.de>
4180
4181         * main.c (main): Tag "Written by..." string as translatable.
4182
4183 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
4184
4185         * wget.h (FREE_MAYBE): New macro.
4186
4187         * http.c (create_authorization_line): Don't use ANSI C string
4188         concatenation feature.
4189         (basic_authentication_encode): Use alloca() for temporary
4190         variables.
4191
4192         * recur.h: Ditto.
4193
4194         * http.c: Ditto.
4195
4196         * headers.h: Ditto.
4197
4198         * ftp-basic.c: Protect declaration against non-ANSI compiler.
4199
4200         * http.c (create_authorization_line): Cast `unsigned char *' to
4201         `char *' for sprintf, to shut up the noisy Digital Unix cc.
4202
4203 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
4204
4205         * version.c: Wget 1.5-b7 is released.
4206
4207 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
4208
4209         * cmpt.c (strstr): Synched with glibc-2.0.6.
4210
4211         * ftp-basic.c (calculate_skey_response): Ditto.
4212         (calculate_skey_response): Use alloca().
4213
4214         * http.c (create_authorization_line): Work with FSF's version of
4215         md5.c.
4216
4217         * md5.c: New file, from GNU libc.
4218
4219 1998-02-14  Hrvoje Niksic  <hniksic@srce.hr>
4220
4221         * url.h (URL_CLEANSE): Name the temporary variable more carefully.
4222
4223 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
4224
4225         * http.c (basic_authentication_encode): New function, instead of
4226         the macro.
4227
4228 1998-02-13  Junio Hamano  <junio@twinsun.com>
4229
4230         * http.c: Add HTTP-DA support.
4231         * ftp-basic.c: Add Opie/S-key support.
4232         * config.h.in, Makefile.in: Add HTTP-DA and Opie/S-key support.
4233         * md5.c, md5.h: New files.
4234
4235 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
4236
4237         * http.c (http_process_range): Renamed from hprocrange().
4238         (http_process_range): Parse the whole header.
4239
4240         * headers.c: New file.
4241         (header_process): New function.
4242         (header_get): Renamed from fetch_next_header.
4243
4244         * all: Include utils.h only where necessary.
4245
4246         * wget.h: Declare xmalloc(), xrealloc() and xstrdup() here.
4247
4248         * wget.h: Add provisions for dmalloc.
4249
4250 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
4251
4252         * version.c: Wget 1.5-b6 is released.
4253
4254 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
4255
4256         * ftp.c (ftp_loop): Determine `filename' more precisely.
4257
4258         * init.c (setval): Don't set `opt.quiet' if output-document is
4259         `-'.
4260
4261         * log.c (log_init): Print to STDERR instead of STDOUT.
4262         (vlogmsg): Use STDERR by default.
4263         (logflush): Ditto.
4264
4265 1998-02-11  Simon Josefsson  <jas@pdc.kth.se>
4266
4267         * host.c: Use addr_in again.
4268
4269 1998-02-08  Karl Eichwalder  <karl@suse.de>
4270
4271         * http.c (gethttp): Fixed typo.
4272
4273 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
4274
4275         * version.c: Wget 1.5-b5 is released.
4276
4277 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
4278
4279         * retr.c (show_progress): Use it.
4280
4281         * log.c (logflush): New function.
4282
4283         * wget.h: Utilize __attribute__ if on gcc.
4284
4285 1998-02-07  Hrvoje Niksic  <hniksic@srce.hr>
4286
4287         * http.c (base64_encode_line): New argument LENGTH.
4288         (BASIC_AUTHENTICATION_ENCODE): Use it.
4289         (BASIC_AUTHENTICATION_ENCODE): Take length of HEADER into account.
4290
4291         * main.c (main): Fixed fprintf() format mismatch.
4292
4293 1998-02-06  Hrvoje Niksic  <hniksic@srce.hr>
4294
4295         * version.c: Wget 1.5-b4 is released.
4296
4297 1998-02-03  Simon Josefsson  <jas@pdc.kth.se>
4298
4299         * host.c: use sockaddr_in instead of addr_in.
4300
4301 1998-02-04  Hrvoje Niksic  <hniksic@srce.hr>
4302
4303         * init.c (cleanup): Use it.
4304
4305         * recur.c (recursive_cleanup): New function.
4306
4307         * retr.c (retrieve_from_file): Ditto.
4308
4309         * main.c (main): Use it.
4310
4311         * recur.c (recursive_reset): New function.
4312
4313         * retr.c (retrieve_from_file): Ditto.
4314
4315         * main.c (main): Simplify call to recursive_retrieve().
4316
4317         * recur.c (recursive_retrieve): Removed FLAGS argument.
4318
4319         * http.c (gethttp): Changed call to iwrite().
4320
4321 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
4322
4323         * url.c (get_urls_html): Ditto.
4324         (free_urlpos): Ditto.
4325         (mkstruct): Ditto.
4326         (construct): Ditto.
4327
4328         * retr.c (retrieve_url): Move declaration of local variables to
4329         smaller scope.
4330
4331         * url.c (urlproto): Use it.
4332         (parseurl): Ditto.
4333         (str_url): Ditto.
4334         (get_urls_html): Ditto.
4335
4336         * utils.h (ARRAY_SIZE): New macro.
4337
4338         * url.c (proto): Moved from url.h.
4339
4340         * url.h (URL_CLEANSE): Reformatted.
4341         (USE_PROXY_P): Renamed from USE_PROXY.
4342
4343         * ftp-basic.c: Adjust to the new interface of iwrite().
4344
4345         * ftp-basic.c (ftp_port): Use alloca().
4346
4347 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
4348
4349         * version.c: Wget 1.5-b3 is released.
4350
4351         * host.c (ftp_getaddress): Don't print to stderr directly.
4352
4353         * init.c (setbytes): Support `g' for gigabytes.
4354         (cmdtype): New specification CTIME.
4355         (setval): Use it with settime().
4356         (commands): Use it for WAIT and TIMEOUT.
4357
4358 1998-02-02  Hrvoje Niksic  <hniksic@srce.hr>
4359
4360         * http.c (BASIC_AUTHENTICATION_ENCODE): New macro.
4361         (gethttp): Use it.
4362
4363         * utils.c (unique_name_1): Moved from url.c.
4364         (unique_name): Ditto.
4365
4366         * url.c (url_filename): Ditto.
4367
4368         * log.c (redirect_output): Changed call to unique_name().
4369
4370         * url.c (unique_name_1): Renamed from unique_name().
4371         (unique_name): Changed interface.
4372
4373         * init.c (enum cmdid): Moved from init.h.
4374         (cmdtype): Ditto.
4375         (struct cmd): Ditto.
4376
4377         * main.c (main): Use it.
4378         (main): Moved `--backups' to not have a short option.
4379
4380         * options.h (struct options): New member BACKGROUND.
4381
4382         * main.c (print_help): Rearranged.
4383         (main): New long options for -n* short options: --no-directories,
4384         --no-host-directories, --non-verbose, --no-host-lookup and
4385         --dont-remove-listing.
4386
4387 1998-02-01  Hrvoje Niksic  <hniksic@srce.hr>
4388
4389         * main.c (main): Use log_close().
4390
4391         * log.c: New variable LOGFP.
4392         (vlogmsg): Use it.
4393         (redirect_output): Don't open /dev/null; set LOGFP to stdin
4394         instead.
4395         (log_close): New function.
4396
4397         * options.h (struct options): Removed LFILE.
4398
4399         * log.c (log_enable): Removed.
4400
4401         * main.c (main): Use it.
4402
4403         * log.c (log_init): New function.
4404
4405         * url.c (get_urls_html): Removed needless assignment to BASE.
4406
4407         * host.c (add_hlist): Don't set CMP needlessly.
4408
4409         * utils.c (match_backwards): Ditto.
4410         (in_acclist): Ditto.
4411
4412         * url.c (findurl): Ditto.
4413
4414         * netrc.c (parse_netrc): Ditto.
4415
4416         * log.c (log_dump): Ditto.
4417
4418         * html.c (html_quote_string): Ditto.
4419
4420         * ftp-basic.c (ftp_request): Made static.
4421
4422         * connect.c: Made global variables static.
4423
4424         * url.c (construct): Ditto.
4425
4426         * init.c (init_path): Avoid assignment inside `if'-condition.
4427
4428         * ftp.c: Don't include in.h or winsock.h.
4429
4430         * ftp.c (ftp_loop): Use SZ.
4431
4432         * connect.c (bindport): Cast &addrlen to int *.
4433         (conaddr): Ditto.
4434
4435         * init.c (initialize): Don't use SYSTEM_WGETRC unconditionally.
4436
4437 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
4438
4439         * ftp.c (getftp): Initialize opt.ftp_pass here.
4440         (ftp_retrieve_dirs): Use alloca().
4441
4442         * init.c (defaults): Don't initialize opt.ftp_pass.
4443
4444         * sysdep.h (S_ISLNK): Declare for OS/2; ditto for lstat.
4445         From Ivan F. Martinez <ivanfm@ecodigit.com.br>.
4446
4447 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
4448
4449         * recur.c (parse_robots): Check for comments more correctly.
4450
4451         * host.c (ftp_getaddress): Use STRDUP_ALLOCA.
4452         (ftp_getaddress): Add diagnostics when reverse-lookup yields only
4453         hostname.
4454
4455 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
4456
4457         * version.c: Wget 1.5-b2 is released.
4458
4459         * netrc.c (NETRC_FILE_NAME): Moved from netrc.h.
4460
4461         * utils.c (proclist): Pass FNM_PATHNAME to fnmatch().
4462
4463         * ftp-basic.c (ftp_pasv): Avoid unnecessary casting to unsigned
4464         char.
4465
4466         * log.c: Don't attempt to hide arguments from ansi2knr.
4467
4468         * cmpt.c: Synched strptime() and mktime() with glibc-2.0.6.
4469
4470         * ansi2knr.c: Use a later version, from fileutils-3.16l alpha.
4471
4472         * ftp.c (getftp): Ditto.
4473
4474         * http.c (gethttp): Use it.
4475
4476         * retr.c (get_contents): New argument EXPECTED; pass it to
4477         show_progress().
4478         (show_progress): New argument EXPECTED; use it to display
4479         percentages.
4480
4481         * init.c (setval): Ditto.
4482
4483         * http.c (gethttp): Ditto.
4484         (http_loop): Ditto.
4485
4486         * ftp.c (getftp): Ditto.
4487         (ftp_loop_internal): Ditto.
4488
4489         * ftp-ls.c (ftp_parse_unix_ls): Use abort() instead of assert(0).
4490
4491         * sysdep.h (CLOSE): Simplify; use DEBUGP.
4492
4493         * netrc.c (search_netrc): Use alloca().
4494
4495         * init.c (defaults): Initialize no_flush.
4496
4497         * log.c (vlogmsg): Don't flush if no_flush.
4498
4499         * options.h (struct options): New variable no_flush.
4500
4501         * main.c (main): Don't play games with buffering.
4502
4503         * log.c (vlogmsg): Flush the output after every message.
4504
4505 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
4506
4507         * init.c (parse_line): Ditto.
4508
4509         * url.c (get_urls_html): Ditto.
4510
4511         * main.c (main): Don't cast to unsigned char.
4512
4513         * init.c (run_wgetrc): Don't cast to unsigned char.
4514         (parse_line): Accept char instead of unsigned char.
4515
4516         * html.c (htmlfindurl): Use char instead of unsigned char.
4517
4518         * all: Use them.
4519
4520         * sysdep.h: Add wrappers to ctype macros to make them
4521         eight-bit-clean:
4522
4523 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
4524
4525         * html.c (htmlfindurl): Download <img lowsrc=...>
4526
4527         * main.c (main): Ignore SIGPIPE.
4528
4529         * connect.c (select_fd): New argument WRITEP.
4530         (iwrite): Call select_fd().
4531
4532 1997-02-27  Fila Kolodny <fila@ibi.com>
4533
4534         * ftp.c (ftp_retrieve_list): If retrieving symlink and the proper
4535         one already exists, just skip it.
4536
4537 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
4538
4539         * http.c (gethttp): Cosmetic changes.
4540
4541         * http.c (check_end): Allow `+D...' instead of `GMT'.
4542         From Fabrizio Pollastri <pollastri@cstv.to.cnr.it>.
4543
4544         * url.c (process_ftp_type): New function.
4545         (parseurl): Use it.
4546
4547         * connect.c (iwrite): Allow writing in a few chunks.
4548         (bindport): Made SRV static, so addr can point to it.
4549         (select_fd): Removed HPUX kludge.
4550
4551         * host.c (free_hlist): Incorporated into clean_hosts().
4552
4553 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
4554
4555         * host.c (hlist): Made static.
4556         (search_address): Cosmetic change.
4557
4558 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
4559
4560         * version.c: Wget v1.5-b1 is released.
4561
4562         * http.c (hgetlen): Use sizeof() to get the header length.
4563         (hgetrange): Ditto.
4564         (hgettype): Ditto.
4565         (hgetlocation): Ditto.
4566         (hgetmodified): Ditto.
4567         (haccepts_none): Ditto.
4568
4569         * main.c (main): Updated `--version' and `--help' output, as per
4570         Francois Pinard's suggestions.
4571
4572         * main.c: Include locale.h; call setlocale(), bindtextdomain() and
4573         textdomain().
4574
4575         * config.h.in: Define stubs for I18N3.
4576
4577         * wget.h: Include libintl.h.
4578
4579 1998-01-28  Hrvoje Niksic  <hniksic@srce.hr>
4580
4581         * url.c (mkstruct): Check for opt.cut_dirs.
4582         (mkstruct): alloca()-te more, xmalloc() less.
4583
4584         * utils.c (load_file): Check for ferror().
4585
4586         * url.c (get_urls_file): Close only the files we opened.
4587         (get_urls_html): Ditto.
4588         (count_slashes): New function.
4589
4590         * http.h: Removed.
4591
4592         * http.c (gethttp): Respect username and password provided by
4593         proxy URL.
4594         (base64_encode_line): Write into an existing buffer instead of
4595         malloc-ing a new one.
4596         (struct http_stat): Moved from http.h
4597
4598         * retr.c (retrieve_url): Free SUF.
4599
4600         * all: Removed lots of unnecessary .h dependencies.
4601
4602         * html.c (global_state): Made static.
4603
4604         * utils.h (ALLOCA_ARRAY): New macro.
4605
4606         * main.c (main): New option `--cut-dirs'.
4607
4608         * url.c (construct): Use alloca() for T.
4609
4610         * utils.c (mkdirhier): Use STRDUP_ALLOCA.
4611
4612         * host.c (_host_t): Moved from host.h.
4613         (struct host): Renamed from _host_t.
4614         (store_hostaddress): Use STRDUP_ALLOCA for INET_S.
4615         (realhost): Ditto.
4616
4617         * host.h: Don't include url.h.
4618
4619         * ftp.c (LIST_FILENAME): Moved from ftp.h.
4620
4621         * init.c (DEFAULT_FTP_ACCT): Moved from ftp.h.
4622
4623         * main.c (main): Enable log if the output goes to a TTY.
4624
4625         * connect.h: Removed unused constant `BACKLOG'.
4626
4627         * config.h.in: Check for isatty().
4628
4629         * Makefile.in (LINK): Use CFLAGS when linking.
4630
4631 1998-01-27  Hrvoje Niksic  <hniksic@srce.hr>
4632
4633         * mswindows.c (ws_hangup): Use redirect_output().
4634
4635         * main.c (redirect_output_signal): New function; use
4636         redirect_output().
4637
4638         * log.c (redirect_output): New function, based on hangup(), which
4639         is deleted.
4640
4641         * log.c (vlogmsg): New function.
4642
4643         * wget.h (DEBUGP): Use debug_logmsg().
4644
4645         * main.c (hangup): Use it.
4646
4647         * log.c (log_dump): New function.
4648
4649         * utils.h (DO_REALLOC): Use `long' for various sizes.
4650
4651         * http.c (hskip_lws): Use `while', for clarity.
4652         (HTTP_DYNAMIC_LINE_BUFFER): New constant.
4653         (fetch_next_header): Use it instead of DYNAMIC_LINE_BUFFER.
4654
4655         * ftp-basic.c (FTP_DYNAMIC_LINE_BUFFER): New constant.
4656         (ftp_response): Use it instead of DYNAMIC_LINE_BUFFER.
4657
4658         * utils.c (DYNAMIC_LINE_BUFFER): Moved from utils.c.
4659         (LEGIBLE_SEPARATOR): Ditto.
4660         (FILE_BUFFER_SIZE): Ditto.
4661
4662         * retr.c (BUFFER_SIZE): Moved from retr.h.
4663
4664         * log.c: New file.
4665         (logmsg): Moved from utils.c.
4666         (debug_logmsg): New function.
4667
4668         * mswindows.h: Include it here.
4669
4670         * init.c: Ditto.
4671
4672         * utils.c: Don't include <windows.h>.
4673
4674 1998-01-25  Hrvoje Niksic  <hniksic@srce.hr>
4675
4676         * host.c (ftp_getaddress): Ditto.
4677
4678         * main.c (main): Use it.
4679
4680         * utils.h (STRDUP_ALLOCA): New macro.
4681
4682         * init.c: Prepend `wget: ' to error messages printed on stderr.
4683
4684         * utils.c (mkdirhier): Renamed from mymkdir.
4685         (touch): Renamed from my_touch.
4686         (pwd_cuserid): Renamed from my_cuserid().
4687
4688 1998-01-24  Andy Eskilsson  <andy.eskilsson@telelogic.se>
4689
4690         * utils.c (accdir): Process wildcards.
4691         (proclist): New function.
4692         (accdir): Use it to avoid code repetition.
4693
4694 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
4695
4696         * recur.c (parse_robots): Respect opt.useragent; use alloca().
4697
4698         * http.c (gethttp): Construct useragent accordingly.
4699
4700         * version.c: Changed version string to numbers-only.
4701
4702         * main.c (print_help): List all the options.
4703
4704         * mswindows.c (windows_main_junk): Initialize argv0 here.
4705
4706 1998-01-24  Karl Heuer  <kwzh@gnu.org>
4707
4708         * netrc.c (search_netrc): Initialize `l' only after processing
4709         netrc.
4710
4711         * main.c (main): Don't trap SIGHUP if it's being ignored.
4712
4713 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
4714
4715         * all: Use logmsg().
4716
4717         * utils.c (time_str): Moved from retr.c.
4718         (logmsg): New function.
4719         (logmsg_noflush): Ditto.
4720
4721         * rbuf.c: New file, moved buf_* functions here.
4722
4723         * ftp.c (ftp_expected_bytes): Moved from ftp-basic.c.
4724
4725         * ftp-basic.c (ftp_rest): Use prnum().
4726
4727         * ftp-basic.c: Ditto.
4728
4729         * ftp.c: Use the new reading functions and macros.
4730
4731         * retr.c (buf_initialize): New function.
4732         (buf_initialized_p): Ditto.
4733         (buf_uninitialize): Ditto.
4734         (buf_fd): Ditto.
4735
4736         * http.c (fetch_next_header): Use the BUF_READCHAR macro for
4737         efficiency.
4738         (gethttp): Use alloca() where appropriate.
4739
4740         * retr.c (buf_readchar): Use it.
4741         (buf_peek): Use rstreams.
4742
4743         * retr.h (BUF_READCHAR): New macro.
4744
4745         * init.c (home_dir): Rewritten for clarity.
4746         (init_path): Ditto.
4747
4748         * mswindows.c (ws_backgnd): Made static.
4749         (read_registry): Ditto.
4750         (ws_cleanup): Ditto.
4751         (ws_handler): Ditto.
4752
4753 1998-01-23  Hrvoje Niksic  <hniksic@srce.hr>
4754
4755         * alloca.c: New file.
4756
4757         * Makefile.in (ALLOCA): Define.
4758
4759         * mswindows.c (ws_help): Constify.
4760         (ws_help): Use alloca.
4761
4762         * mswindows.c: Reformat.
4763
4764         * all: Added _(...) annotations for I18N snarfing and translation.
4765
4766         * host.c (ftp_getaddress): Nuke SYSINFO.
4767         (ftp_getaddress): Don't use getdomainname().
4768         (ftp_getaddress): Use uname(), where available.
4769
4770         * http.c (gethttp): Protect a stray fprintf().
4771
4772         * init.c (settime): New function.
4773         (setval): Treat WAIT specially, allowing suffixes like `m' for
4774         minutes, etc.
4775
4776 1998-01-21  Hrvoje Niksic  <hniksic@srce.hr>
4777
4778         * url.c (get_urls_html): Use alloca() for TEMP.
4779
4780 1998-01-21  Jordan Mendelson  <jordy@wserv.com>
4781
4782         * url.c (rotate_backups): New function.
4783
4784         * http.c (gethttp): Ditto.
4785
4786         * ftp.c (getftp): Rotate backups.
4787
4788 1997-12-18  Hrvoje Niksic  <hniksic@srce.hr>
4789
4790         * all: Renamed nmalloc(), nrealloc() and nstrdup() to xmalloc(),
4791         xrealloc() and xstrdup().  Use the new functions.
4792
4793         * url.c (decode_string): Made static.
4794         (has_proto): Ditto.
4795         (parse_dir): Ditto.
4796         (parse_uname): Ditto.
4797         (mkstruct): Ditto.
4798         (construct): Ditto.
4799         (construct_relative): Ditto.
4800
4801         * retr.c (show_progress): Made static.
4802
4803         * recur.c (robots_url): Made static.
4804         (retrieve_robots): Ditto.
4805         (parse_robots): Ditto.
4806         (robots_match): Ditto.
4807
4808         * main.h: Removed.
4809
4810         * main.c (printhelp): Made static.
4811         (hangup): Ditto.
4812
4813         * init.c (comind): Made static.
4814         (defaults): Ditto.
4815         (init_path): Ditto.
4816         (run_wgetrc): Ditto.
4817         (onoff): Ditto.
4818         (setonoff): Ditto.
4819         (setnum): Ditto.
4820         (myatoi): Ditto.
4821         (getperms): Ditto.
4822         (setbytes): Ditto.
4823
4824         * http.c (fetch_next_header): Made static.
4825         (hparsestatline): Ditto.
4826         (hskip_lws): Ditto.
4827         (hgetlen): Ditto.
4828         (hgetrange): Ditto.
4829         (hgettype): Ditto.
4830         (hgetlocation): Ditto.
4831         (hgetmodified): Ditto.
4832         (haccepts_none): Ditto.
4833         (gethttp): Ditto.
4834         (base64_encode_line): Ditto.
4835         (mktime_from_utc): Ditto.
4836         (http_atotm): Ditto.
4837
4838         * html.c (idmatch): Made static.
4839
4840         * host.c (search_host): Made static.
4841         (search_address): Ditto.
4842         (free_hlist): Ditto.
4843
4844         * ftp.c (getftp): Made static.
4845         (ftp_loop_internal): Ditto.
4846         (ftp_get_listing): Ditto.
4847         (ftp_retrieve_list): Ditto.
4848         (ftp_retrieve_dirs): Ditto.
4849         (ftp_retrieve_glob): Ditto.
4850         (freefileinfo): Ditto.
4851         (delelement): Ditto.
4852
4853         * ftp-ls.c (symperms): Made static.
4854         (ftp_parse_unix_ls): Ditto.
4855
4856         * connect.c (select_fd): Made static.
4857
4858         * utils.c (xmalloc): Renamed from nmalloc.
4859         (xrealloc): Renamed from nrealloc.
4860         (xstrdup): Renamed from nstrdup.
4861
4862         * getopt.c (exchange): Use alloca.
4863
4864         * mswindows.c (mycuserid): Use strncpy.
4865
4866         * New files mswindows.c, mswindows.h, sysdep.h.  winjunk.c,
4867         systhings.h, windecl.h and winjunk.h removed.
4868
4869         * mswindows.c (sleep): New function.
4870
4871         * utils.c: Include <windows.h> under Windows.
4872
4873 1997-06-12  Darko Budor  <dbudor@zesoi.fer.hr>
4874
4875         * url.h (URL_UNSAFE): Change default under Windows.
4876
4877         * retr.c (retrieve_from_file): Respect opt.delete_after.
4878
4879         * main.c (main): Call ws_help on Windows.
4880
4881         * winjunk.c (windows_main_junk): New function.
4882
4883         * main.c (main): Junk-process argv[0].
4884
4885         * http.c (mktime_from_utc): Return -1 if mktime failed.
4886
4887         * http.c (http_loop): Ditto.
4888
4889         * ftp.c (ftp_loop_internal): Change title on Windows when using a
4890         new URL.
4891
4892         * winjunk.c (getdomainname): Lots of functions.
4893
4894 1997-06-12  Hrvoje Niksic  <hniksic@srce.hr>
4895
4896         * cmpt.c (strptime_internal): Handle years more correctly for
4897         `%y'.
4898
4899 1997-06-09  Mike Thomas <mthomas@reality.ctron.com>
4900
4901         * http.c (gethttp): Allocate enough space for
4902         `Proxy-Authorization' header.
4903
4904 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
4905
4906         * version.c: Wget/1.4.5 is released.
4907
4908 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
4909
4910         * retr.c (get_contents): Check return value of fwrite more
4911         carefully.
4912
4913 1997-03-30  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
4914
4915         * cmpt.c (strptime_internal) [case 'Y']: Always subtract 1900 from
4916         year, regardless of century.
4917
4918 1997-03-30  Hrvoje Niksic  <hniksic@srce.hr>
4919
4920         * utils.c (isfile): Use `lstat' instead of `stat'.
4921
4922 1997-03-29  Hrvoje Niksic  <hniksic@srce.hr>
4923
4924         * utils.c (numdigit): Use explicit test.
4925
4926 1997-03-21  Hrvoje Niksic  <hniksic@srce.hr>
4927
4928         * http.c (http_loop): Always use `url_filename' to get u->local.
4929
4930 1997-03-20  Hrvoje Niksic  <hniksic@srce.hr>
4931
4932         * url.c: Recognize https.
4933
4934 1997-03-13  Hrvoje Niksic  <hniksic@srce.hr>
4935
4936         * recur.c (recursive_retrieve): Lowercase just the host name.
4937
4938 1997-03-09  Hrvoje Niksic  <hniksic@srce.hr>
4939
4940         * url.c (get_urls_file): Use the correct test.
4941         (get_urls_html): Ditto.
4942
4943 1997-03-07  Hrvoje Niksic  <hniksic@srce.hr>
4944
4945         * connect.c: Reverted addrlen to int.
4946
4947         * init.c (parse_line): Check for -1 instead of NONE.
4948
4949         * version.c: Changed version to 1.4.5.
4950
4951 1997-02-17  Hrvoje Niksic  <hniksic@srce.hr>
4952
4953         * init.c: New option netrc.
4954         (initialize): Don't parse .netrc.
4955
4956         * cmpt.c (recursive): Return rp.
4957         (strptime_internal): Match the long strings first, the abbreviated
4958         second.
4959
4960 1997-02-16  Hrvoje Niksic  <hniksic@srce.hr>
4961
4962         * http.c (check_end): New function.
4963         (http_atotm): Use it.
4964
4965 1997-02-13  gilles Cedoc  <gilles@cedocar.fr>
4966
4967         * http.c (gethttp): Use them.
4968
4969         * init.c: New options proxy_user and proxy_passwd.
4970
4971 1997-02-14  Hrvoje Niksic  <hniksic@srce.hr>
4972
4973         * ftp.c (ftp_retrieve_list): Create links even if not relative.
4974
4975 1997-02-10  Hrvoje Niksic  <hniksic@srce.hr>
4976
4977         * recur.c (recursive_retrieve): Lowercase the host name, if the
4978         URL is not "optimized".
4979
4980         * host.c (realhost): Return l->hostname, even if it matches with
4981         host.
4982
4983 1997-02-10  Marin Purgar  <pmc@asgard.hr>
4984
4985         * connect.c: Make addrlen size_t instead of int.
4986         (conaddr): Ditto.
4987
4988 1997-02-09  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
4989
4990         * systhings.h: Define S_ISLNK on NeXT too.
4991
4992 1997-02-09  Hrvoje Niksic  <hniksic@srce.hr>
4993
4994         * version.c: Released 1.4.3.
4995
4996         * url.c: Futher update to list of protostrings.
4997         (skip_proto): Skip `//' correctly for FTP and HTTP.
4998
4999         * url.c (get_urls_html): Handle bogus `http:' things a little
5000         different.
5001
5002         * main.c (main): Removed `follow-ftp' from `f'.
5003         (main): Dumped the `prefix-files' and `file-prefix' options and
5004         features; old and bogus.
5005         (main): Exit on failed setval() in `-e'.
5006
5007         * http.c (fetch_next_header): Use it to detect header continuation
5008         correctly.
5009
5010         * retr.c (buf_peek): New function.
5011
5012 1997-02-08  Hrvoje Niksic  <hniksic@srce.hr>
5013
5014         * wget.h: Include time.h and stuff.
5015
5016 1997-02-08  Roger Beeman  <beeman@cisco.com>
5017
5018         * ftp.c: Include <time.h>
5019
5020 1997-02-07  Hrvoje Niksic  <hniksic@srce.hr>
5021
5022         * url.c (findurl): Would read over buffer limits.
5023
5024 1997-02-06  Hrvoje Niksic  <hniksic@srce.hr>
5025
5026         * ftp-ls.c (ftp_parse_unix_ls): Allow spaces in file names.
5027
5028 1997-02-05  Hrvoje Niksic  <hniksic@srce.hr>
5029
5030         * http.c (http_atotm): Initialize tm.is_dst.
5031
5032 1997-02-02  Hrvoje Niksic  <hniksic@srce.hr>
5033
5034         * http.c (gethttp): Don't print the number of retrieved headers.
5035
5036         * main.c (main): New option `--no-clobber', alias for `-nc'.
5037
5038         * url.c: Recognize `https://'.
5039
5040 1997-02-01  Hrvoje Niksic  <hniksic@srce.hr>
5041
5042         * host.c (herrmsg): Don't use h_errno.
5043
5044 1997-01-30  Hrvoje Niksic  <hniksic@srce.hr>
5045
5046         * host.c (accept_domain): Use it.
5047
5048         * main.c (main): New option `--exclude-domains'.
5049
5050         * retr.c (retrieve_url): Use it.
5051         (retrieve_url): Bail out when an URL is redirecting to itself.
5052
5053         * url.c (url_equal): New function.
5054
5055 1997-01-29  Hrvoje Niksic  <hniksic@srce.hr>
5056
5057         * connect.c: Include arpa/inet.h instead of arpa/nameser.h.
5058
5059         * http.c (mk_utc_time): New function.
5060         (http_atotm): Use it; handle time zones correctly.
5061
5062 1997-01-28  Hrvoje Niksic  <hniksic@srce.hr>
5063
5064         * http.c: Ditto.
5065
5066         * ftp-basic.c: Use it instead of WRITE.
5067
5068         * connect.c (iwrite): New function.
5069
5070 1997-01-27  Hrvoje Niksic  <hniksic@srce.hr>
5071
5072         * cmpt.c (mktime): New function.
5073
5074         * netrc.c: Include <sys/types.h>.
5075
5076         * main.c (main): Wouldn't recognize --spider.
5077
5078         * retr.c (rate): Use `B', `KB' and `MB'.
5079         (reset_timer,elapsed_time): Moved from utils.c.
5080
5081         * ftp.c (ftp_retrieve_list): Ditto.
5082
5083         * http.c (http_loop): Don't touch the file if opt.dfp.
5084
5085 1997-01-24  Hrvoje Niksic  <hniksic@srce.hr>
5086
5087         * cmpt.c: New file.
5088
5089         * ftp.c (ftp_retrieve_glob): New argument semantics.
5090         (ftp_retrieve_dirs): Use it.
5091         (ftp_loop): Ditto.
5092
5093         * html.c (htmlfindurl): Recognize `'' as the quote char.
5094
5095 1997-01-23  Hrvoje Niksic  <hniksic@srce.hr>
5096
5097         * ftp.c (ftp_loop_internal): Use it.
5098
5099         * utils.c (remove_link): New function.
5100
5101 1997-01-22  Hrvoje Niksic  <hniksic@srce.hr>
5102
5103         * retr.c (retrieve_url): Require STRICT redirection URL.
5104
5105         * url.c (parseurl): New argument STRICT.
5106
5107         * http.c (hparsestatline): Be a little-bit less strict about
5108         status line format.
5109
5110 1997-01-21  Hrvoje Niksic  <hniksic@srce.hr>
5111
5112         * http.c (gethttp): Use it.
5113
5114         * main.c (main): Don't use '<digit>' as options.
5115
5116         * init.c: New option ignore_length.
5117
5118         * http.c (gethttp): Ditto.
5119         (http_loop): Check for redirection without Location:.
5120         (gethttp): Don't print Length unless RETROKF.
5121
5122         * ftp.c (getftp): Use it.
5123
5124         * url.c (mkalldirs): New function.
5125
5126         * utils.c (mymkdir): Don't check for existing non-directory.
5127
5128         * url.c (mkstruct): Don't create the directory.
5129
5130 1997-01-20  Hrvoje Niksic  <hniksic@srce.hr>
5131
5132         * init.c (setval): Removed NO_RECURSION checks.
5133
5134 1997-01-19  Hrvoje Niksic  <hniksic@srce.hr>
5135
5136         * version.c: "Released" 1.4.3-pre2.
5137
5138         * recur.c (recursive_retrieve): Bypass host checking only if URL
5139         is ftp AND parent URL is not ftp.
5140
5141         * ftp-basic.c (ftp_request): Print out Turtle Power.
5142
5143         * ftp.c (ftp_loop): Call ftp_retrieve_glob with 0 if there's no
5144         wildcard.
5145         (ftp_retrieve_glob): Call ftp_loop_internal even on empty list, if
5146         not glob.
5147
5148         * http.c (gethttp): Be a little bit smarter about status codes.
5149
5150         * recur.c (recursive_retrieve): Always reset opt.recursive when
5151         dealing with FTP.
5152
5153 1997-01-18  Hrvoje Niksic  <hniksic@srce.hr>
5154
5155         * retr.c (retrieve_url): New variable location_changed; use it for
5156         tests instead of mynewloc.
5157         (retrieve_url): Allow heuristic adding of html.
5158
5159         * url.c (url_filename): Don't use the `%' in Windows file names.
5160
5161         * http.c (http_loop): Always time-stamp the local file.
5162
5163         * http.c (http_loop): Ditto.
5164
5165         * ftp.c (ftp_retrieve_list): Use it.
5166
5167         * utils.c (my_touch): New function.
5168
5169         * ftp.c (ftp_retrieve_list): Use #ifdef HAVE_STRUCT_UTIMBUF
5170         instead of #ifndef NeXT.
5171
5172         * utils.c (strptime): New version, by Ulrich Drepper.
5173
5174 1997-01-17  Hrvoje Niksic  <hniksic@srce.hr>
5175
5176         * http.c (haccepts_none): Renamed from `haccepts_bytes'.
5177         (gethttp): If haccepts_none(), disable ACCEPTRANGES.
5178         (http_loop): Would remove ACCEPTRANGES.
5179
5180         * ftp.c (getftp): Call ftp_list with NULL.
5181
5182 1997-01-15  Hrvoje Niksic  <hniksic@srce.hr>
5183
5184         * html.c (ftp_index): Don't print minutes and seconds if we don't
5185         know them; beautify the output.
5186
5187         * ftp.c (getftp): Don't close the socket on FTPNSFOD.
5188
5189 1997-01-14  Hrvoje Niksic  <hniksic@srce.hr>
5190
5191         * utils.c (strptime): New function.
5192         (strptime): Don't use get_alt_number.
5193         (strptime): Don't use locale.
5194         (match_string): Made it a function.
5195
5196 1997-01-12  Hrvoje Niksic  <hniksic@srce.hr>
5197
5198         * http.c (http_atotm): New function.
5199         (http_loop): Use it.
5200
5201         * atotm.c: Removed from the distribution.
5202
5203         * http.c (base64_encode_line): Rewrite.
5204
5205 1997-01-09  Hrvoje Niksic  <hniksic@srce.hr>
5206
5207         * ftp.c (getftp): Use ftp_expected_bytes; print size.
5208
5209         * ftp-basic.c (ftp_response): Use ftp_last_respline.
5210         (ftp_expected_bytes): New function.
5211
5212         * ftp.c (getftp): Print the unauthoritative file length.
5213
5214         * ftp-ls.c: Renamed from ftp-unix.c.
5215         (ftp_parse_ls): Moved from ftp.c.
5216         (ftp_parse_unix_ls): Recognize seconds in time spec.
5217         (ftp_parse_unix_ls): Recognize year-less dates of the previous
5218         year.
5219
5220 1997-01-08  Hrvoje Niksic  <hniksic@srce.hr>
5221
5222         * ftp-basic.c: Don't declare errno if #defined.
5223
5224         * host.c (ftp_getaddress): Check for sysinfo legally.
5225
5226 1997-01-08  Darko Budor  <dbudor@diana.zems.fer.hr>
5227
5228         * connect.c (iread): Use READ.
5229
5230 1996-12-23  Hrvoje Niksic  <hniksic@srce.hr>
5231
5232         * url.c: Recognize finger, rlogin, tn3270, mid and cid as valid
5233         schemes.
5234
5235 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
5236
5237         * host.c (ftp_getaddress): Allow `.' in hostname.
5238
5239 1996-12-26  Darko Budor <dbudor@zems.fer.hr>
5240
5241         * wget.h: READ and WRITE macros for use instead of read and write
5242         on sockets, grep READ *.c, grep WRITE *.c
5243
5244         * wsstartup.c: new file - startup for winsock
5245
5246         * wsstartup.h: new file
5247
5248         * win32decl.h: new file - fixup for <errno.h> and winsock trouble
5249
5250         * configure.bat: Configure utility for MSVC
5251
5252         * src/Makefile.ms,config.h.ms: new files for use with MSVC 4.x
5253
5254 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
5255
5256         * version.c: Released 1.4.3-pre.
5257
5258         * utils.c (prnum): Accept long.
5259         (legible): Use prnum().
5260
5261         * connect.c (make_connection): Accept port as short.
5262         (bindport): Ditto.
5263
5264         * http.c (gethttp): Use search_netrc.
5265
5266 1996-12-21  Hrvoje Niksic  <hniksic@srce.hr>
5267
5268         * ftp.c (getftp): Use search_netrc.
5269
5270         * netrc.c (free_netrc): New function.
5271
5272         * init.c (home_dir): New function.
5273
5274         * url.c (convert_links): Allow REL2ABS changes.
5275
5276 1996-12-21  Gordon Matzigkeit  <gord@gnu.ai.mit.edu>
5277
5278         * netrc.c: New file.
5279         (parse_netrc, maybe_add_to_list): New functions.
5280
5281 1996-12-17  Hrvoje Niksic  <hniksic@srce.hr>
5282
5283         * retr.c (retrieve_url): Reset opt.recursion before calling
5284         ftp_loop if it is reached through newloc.
5285
5286         * init.c (run_wgetrc): Print the wgetrc path too, when reporting
5287         error; don't use "Syntax error", since we don't know if it is
5288         really a syntax error.
5289
5290 1996-12-16  Hrvoje Niksic  <hniksic@srce.hr>
5291
5292         * utils.c (acceptable): Extract the filename part of the path.
5293
5294         * recur.c (recursive_retrieve): Call acceptable() with the right
5295         argument; would bug out on wildcards.
5296
5297         * init.c (parse_line): Likewise.
5298
5299         * html.c (htmlfindurl): Cast to char * when calling stuff.
5300
5301 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
5302
5303         * ftp.c (getftp): Use ftp_pasv.
5304
5305         * ftp-basic.c (ftp_request): Accept NULL value.
5306         (ftp_pasv): New function.
5307
5308         * options.h (struct options): Add passive FTP option.
5309
5310 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
5311
5312         * url.c (parseurl): Debug output.
5313
5314         * utils.c (path_simplify): New one, adapted from bash's
5315         canonicalize_pathname().
5316
5317 1996-12-14  Hrvoje Niksic  <hniksic@srce.hr>
5318
5319         * ftp.c (getftp): Don't discard the buffer.
5320
5321         * retr.c (get_contents): New parameter nobuf.
5322
5323 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
5324
5325         * html.c (htmlfindurl): Recognize <meta contents="d; URL=...".
5326
5327         * init.c (setval): Strip the trailing slashes on CVECDIR.
5328
5329 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
5330
5331         * init.c: Make excludes and includes under CVECDIR instead of
5332         CVEC.
5333
5334 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
5335
5336         * url.c (get_urls_html): Skip "http:".
5337
5338 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
5339
5340         * utils.c (strcasecmp): From glibc.
5341         (strncasecmp): Also.
5342         (strstr): Also.
5343
5344         * url.c: Added javascript: to the list of URLs prefixes.
5345
5346 1996-12-12  Shawn McHorse  <riffraff@txdirect.net>
5347
5348         * recur.c (retrieve_robots): Print the warning message only if
5349         verbose.
5350
5351 1996-12-12  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
5352
5353         * ftp.c (ftp_retrieve_list): Use NeXT old utime interface.
5354
5355 1996-12-12  Hrvoje Niksic  <hniksic@srce.hr>
5356
5357         * systhings.h: New file.
5358
5359         * ../configure.in: Check for utime.h
5360
5361         * ftp.c: Check whether we have unistd.h.
5362
5363 1996-11-27  Hrvoje Niksic  <hniksic@srce.hr>
5364
5365         * recur.c (recursive_retrieve): Send the canonical URL as referer.
5366         (recursive_retrieve): Call get_urls_html with the canonical URL.
5367
5368 1996-12-13  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
5369
5370         * (configure.in, config.h.in, src/Makefile.in, src/*.[ch]): Add
5371         ansi2knr support for compilers which don't support ANSI style
5372         function prototypes and signatures.
5373
5374         * (aclocal.m4, src/ansi2knr.c, src/ansi2knr.1): New files.
5375
5376 1996-11-26  Hrvoje Niksic  <hniksic@srce.hr>
5377
5378         * url.c: Use it; Recognize paths ending with "." and ".." as
5379         directories.
5380         (url_filename): Append .n whenever file exists and could be a
5381         directory.
5382
5383         * url.h (ISDDOT): New macro.
5384
5385         * init.c (parse_line): Use unsigned char.
5386
5387         * url.c (get_urls_html): Cast to unsigned char * when calling
5388         htmlfindurl.
5389
5390         * html.c (htmlfindurl): Use unsigned char.
5391
5392         * version.c: Changed version to 1.4.3.
5393
5394 1996-11-25  Hrvoje Niksic  <hniksic@srce.hr>
5395
5396         * version.c: Released 1.4.2.
5397
5398         * ftp.c (getftp): Simplified assertion.
5399         (ftp_loop_internal): Remove symlink before downloading.
5400         (ftp_retrieve_list): Unlink the symlink name before attempting to
5401         create a symlink!
5402
5403         * options.h (struct options): Renamed print_server_response to
5404         server_response.
5405
5406         * ftp.c (rel_constr): Removed.
5407         (ftp_retrieve_list): Don't use it.
5408         (ftp_retrieve_list): Use opt.retr_symlinks.
5409
5410 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
5411
5412         * main.c (main): New option retr_symlinks.
5413
5414         * url.c (convert_links): Print verbose message.
5415
5416 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
5417
5418         * http.c (http_loop): Reset newloc in the beginning of function;
5419         would cause FMR in retrieve_url.
5420
5421 1996-11-23  Hrvoje Niksic  <hniksic@srce.hr>
5422
5423         * recur.c (convert_all_links): Find the URL of each HTML document,
5424         and feed it to get_urls_html; would bug out.
5425         (convert_all_links): Check for l2 instead of dl; removed dl.
5426
5427         * url.c (convert_links): Don't refer to freed newname.
5428
5429         * recur.c (recursive_retrieve): Add this_url to urls_downloaded.
5430
5431         * main.c (main): Print the OS_TYPE in the debug output, too.
5432
5433         * recur.c (recursive_retrieve): Check for opt.delete_after.
5434
5435         * main.c (main): New option delete-after.
5436
5437         * init.c (setval): Cleaned up.
5438
5439 1996-11-21  Hrvoje Niksic  <hniksic@srce.hr>
5440
5441         * Makefile.in (wget): Make `wget' the default target.
5442
5443         * ftp.c (ftp_loop_internal): Move noclobber checking out of the
5444         loop.
5445         (ftp_retrieve_list): Warn about non-matching sizes.
5446
5447         * http.c (http_loop): Made -nc non-dependent on opt.recursive.
5448
5449         * init.c (setnum): Renamed from setnuminf; New argument flags.
5450         (setval): Use it.
5451
5452         * main.c (main): Sorted the options.
5453         (main): New option --wait.
5454
5455 1996-11-21  Shawn McHorse  <riffraff@txdirect.net>
5456
5457         * html.c (htmlfindurl): Reset s->in_quote after getting out of
5458         quotes.
5459
5460 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
5461
5462         * version.c: Changed version to 1.4.2.
5463
5464 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
5465
5466         * version.c: Released 1.4.1.
5467
5468         * html.c (html_quote_string): New function.
5469         (ftp_index): Use it.
5470         (htmlfindurl): A more gentle ending debug message.
5471
5472         * ftp.c (ftp_loop): Check for opt.htmlify.
5473
5474         * init.c: New command htmlify.
5475
5476         * ftp.c (getftp): Nicer error messages, with `'-encapsulated
5477         strings.
5478         (ftp_loop): Print size of index.html.
5479
5480         * init.c (setval): Implement "styles".
5481
5482         * main.c (main): New option dotstyle.
5483
5484 1996-11-19  Hrvoje Niksic  <hniksic@srce.hr>
5485
5486         * ftp.c (getftp): Close the master socket in case of errors, after
5487         bindport().
5488
5489         * connect.c (bindport): Initialize msock to -1.
5490
5491         * ftp.c (getftp): Initialize dtsock to -1.
5492
5493         * connect.c (closeport): Don't close sock if sock == -1.
5494
5495 1996-11-18  Hrvoje Niksic  <hniksic@srce.hr>
5496
5497         * init.c (setnuminf): Nuked default value -- just leave unchanged.
5498         (setval): Don't send default values.
5499         (defaults): Use DEFAULT_TIMEOUT -- aaargh.
5500
5501         * options.h (struct options): Use long for dot_bytes.
5502
5503         * init.c (setquota): Renamed to setbytes.
5504         (setval): Use setbytes on DOTBYTES.
5505
5506 1996-11-17  Hrvoje Niksic  <hniksic@srce.hr>
5507
5508         * ftp.c (getftp): Initialize con->dltime.
5509
5510         * recur.c (recursive_retrieve): Use same_host instead of
5511         try_robots; simply load robots_txt whenever the host is changed.
5512         (recursive_retrieve): Free forbidden before calling parse_robots.
5513
5514 1996-11-16  Hrvoje Niksic  <hniksic@srce.hr>
5515
5516         * retr.c (show_progress): Use them.
5517
5518         * options.h (struct options): New options dot_bytes, dots_on_line
5519         and dot_spacing.
5520
5521 1996-11-16  Mark Boyns  <boyns@sdsu.edu>
5522
5523         * recur.c (recursive_retrieve): Retrieve directories regardless of
5524         acc/rej rules; check for empty u->file.
5525
5526 1996-11-14  Hrvoje Niksic  <hniksic@srce.hr>
5527
5528         * init.c (setval): Use it.
5529
5530         * utils.c (merge_vecs): New function.
5531
5532         * init.c (setval): Reset the list-type functions when encountering
5533         "".
5534
5535 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
5536
5537         * recur.c (recursive_retrieve): Use base_url instead of this_url
5538         for no_parent.
5539
5540 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
5541
5542         * html.c (htmlfindurl): Reset s->in_quote after exiting the quote.
5543
5544 1996-11-13  Hrvoje Niksic  <hniksic@srce.hr>
5545
5546         * utils.c (sepstring): Rewrote; don't use strtok.
5547
5548         * recur.c (recursive_retrieve): Enter assorted this_url to slist
5549         when running the first time.
5550         (retrieve_robots): Warn to ignore errors when robots are loaded.
5551
5552         * utils.c (load_file): Moved from url.c.
5553
5554         * http.c: Made static variables const too in h* functions.
5555
5556         * main.c (main): Renamed --continue-ftp to --continue.
5557
5558         * recur.c (recursive_retrieve): Use it.
5559
5560         * utils.c (frontcmp): New function.
5561
5562         * url.c (accdir): New function.
5563
5564         * html.c (htmlfindurl): Recognize <area href=...>.
5565
5566         * ftp.c (ftp_retrieve_dirs): Implemented opt.includes.
5567
5568         * init.c (setval): Free the existing opt.excludes and
5569         opt.includes, if available.
5570
5571         * main.c (main): New option -I.
5572
5573 1996-11-12  Hrvoje Niksic  <hniksic@srce.hr>
5574
5575         * ftp.c (ftp_retrieve_glob): Do not weed out directories.
5576
5577         * version.c: Changed version to 1.4.1.
5578
5579 1996-11-11  Hrvoje Niksic  <hniksic@srce.hr>
5580
5581         * version.c: Released 1.4.0.
5582
5583 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
5584
5585         * main.c (main): Free com and val after parse_line.
5586         (printhelp): Reorder the listing.
5587
5588         * http.c: More robust header parsing.
5589
5590         * http.c: Allow any number of spaces, or no spaces, precede ':'.
5591         (hskip_lws): New function.
5592         (haccepts_bytes): New function.
5593         (gethttp): Use it.
5594
5595         * init.c (setval): Check header sanity.
5596         (setval): Allow resetting of headers.
5597
5598 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
5599
5600         * http.c (http_loop): Don't use has_wildcards.
5601
5602         * http.c (gethttp): Free all_headers -- would leak.
5603
5604         * recur.c (recursive_retrieve): Initialize depth to 1 instead of
5605         0 -- this fixes a long-standing bug in -rl.
5606
5607 1996-11-09  Hrvoje Niksic  <hniksic@srce.hr>
5608
5609         * ftp.c: Use -1 as "impossible" value for con->fd.
5610
5611         * url.h (URL_SEPARATOR): Don't treat `*' and `+' as separators.
5612
5613         * init.c (parse_line): Use isalpha.
5614
5615         * ftp-unix.c: Use HAVE_UNISTD_H.
5616
5617         * mtch.c (has_wildcards): Don't match \.
5618
5619         * http.c (http_loop): Warn on HTTP wildcard usage.
5620
5621 1996-11-08  Hrvoje Niksic  <hniksic@srce.hr>
5622
5623         * url.c (url_filename): Do not create numbered suffixes if
5624         opt.noclobber -- would bug out on -nc.
5625
5626 1996-11-07  Hrvoje Niksic  <hniksic@srce.hr>
5627
5628         * recur.c (parse_robots): Don't chuck out the commands without
5629         arguments (`Disallow:<empty>' didn't work).
5630         (parse_robots): Compare versions lowercase.
5631         (parse_robots): Match on base_version, not version_string!
5632         (parse_robots): Handle comments properly.
5633         (parse_robots): Match versions in a sane way.
5634
5635         * init.c: Print nicer error messages.
5636
5637         * version.c: Changed version to 1.4.0.
5638
5639 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
5640
5641         * version.c: Released 1.4.0-test2.
5642
5643         * init.c (run_wgetrc): Close fp.
5644
5645         * ftp.c (ftp_retrieve_dirs): Allocate the correct length for
5646         u->dir.
5647
5648 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
5649
5650         * init.c (setquota): Allow inf as quota specification.
5651
5652 1996-11-05  Hrvoje Niksic  <hniksic@srce.hr>
5653
5654         * ftp.c (ftp_retrieve_dirs): Return QUOTEXC if quota exceeded.
5655         (ftp_retrieve_glob): Return QUOTEXC on quota exceeded.
5656
5657         * main.c (main): Check for quota by comparison with downloaded
5658         stuff, not from status.
5659
5660         * connect.c (select_fd): Should compile on HPUX without warnings now.
5661
5662         * ftp.c (ftp_get_listing): Check whether ftp_loop_internal
5663         returned RETROK.
5664
5665 1996-11-04  Hrvoje Niksic  <hniksic@srce.hr>
5666
5667         * ftp.c (ftp_retrieve_glob): Print the pattern nicely.
5668         (getftp): Return FTPRETRINT on control connection error.
5669
5670         * html.c (htmlfindurl): Recognize <embed src=...> and
5671         <bgsound src=...>.
5672         (ftp_index): Handle username and password correctly.
5673
5674         * main.c (main): Made `-np' a synonim for --no-parent.
5675
5676 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
5677
5678         * ftp.c (ftp_loop): Check for opt.ftp_glob too before calling
5679         ftp_retrieve_glob.
5680
5681         * version.c: Changed version to 1.4.0-test2.
5682
5683 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
5684
5685         * version.c: Released 1.4.0-test1.
5686
5687         * url.c (str_url): Don't use sprintf when creating %2F-prefixed
5688         directory.
5689         (convert_links): Removed definition of make_backup.
5690
5691         * http.h: Removed definition of MAX_ERROR_LENGTH.
5692
5693         * host.c (ftp_getaddress): Check for "(none)" domains.
5694
5695         * ftp.c (ftp_retrieve_dirs): Docfix.
5696
5697         * http.c (gethttp): Use ou->referer instead of u->referer.
5698
5699         * retr.c (retrieve_url): Reset u to avoid freeing pointers twice;
5700         this was known to cause coredumps on Linux.
5701
5702         * html.c (ftp_index): Cast the argument to local_time to time_t *.
5703
5704 1996-11-01  Hrvoje Niksic  <hniksic@srce.hr>
5705
5706         * connect.c (select_fd): Use exceptfds -- once and for all.
5707
5708         * retr.c (retrieve_from_file): Free filename after
5709         recursive_retrieve.
5710         (retrieve_from_file): Send RFIRST_TIME to recursive_retrieve on
5711         first-time retrieval.
5712         (retrieve_from_file): Return uerr_t; new argument, count.
5713         (retrieve_from_file): Break on QUOTEXC.
5714
5715         * init.c (setquota): Fixed a bug that caused rejection of
5716         non-postfixed values..
5717
5718 1996-10-30  Hrvoje Niksic  <hniksic@srce.hr>
5719
5720         * version.c: Changed name to wget.
5721
5722         * connect.c (iread): Smarter use of select.
5723         (select_fd): Set errno on timeout.  If not timeout, return 1
5724         instead of 0.
5725
5726 1996-10-29  Hrvoje Niksic  <hniksic@srce.hr>
5727
5728         * ftp.c (ftp_loop_internal): Don't use con->cmd before
5729         establishing it.
5730
5731 1996-10-26  Hrvoje Niksic  <hniksic@srce.hr>
5732
5733         * http.c (gethttp): Send correct referer when using proxy.
5734         (gethttp): Use struct urlinfo ou to access the relevant data; send
5735         correct authorization in all cases.
5736
5737         * host.c (same_host): Use skip_uname to skip username and
5738         password.
5739
5740         * url.c (skip_uname): New function.
5741         (parseurl): Use it.
5742
5743         * host.c (same_host): Do not assume HTTP -- same_host should now
5744         be totally foolproof.
5745
5746         * url.c (skip_proto): New function.
5747         (parse_uname): Use it.
5748
5749         * http.c (gethttp): Create local user and passwd from what is
5750         given.
5751
5752         * url.c (parseurl): Check for HTTP username and password too.
5753
5754 1996-10-25  Hrvoje Niksic  <hniksic@srce.hr>
5755
5756         * config.h.in: Removed #define gethostbyname R...
5757
5758 1996-10-22  Hrvoje Niksic  <hniksic@srce.hr>
5759
5760         * version.c: Changed version to 1.4.0-test1.
5761
5762 1996-10-21  Hrvoje Niksic  <hniksic@srce.hr>
5763
5764         * version.c: "Released" 1.4b29.
5765
5766         * recur.c (recursive_retrieve): Check for no_parent.
5767
5768         * init.c (setval): Option update.
5769
5770         * main.c (main): New option no-parent.
5771
5772         * options.h (struct options): New variable no_parent.
5773
5774         * recur.c (recursive_retrieve): Only files are checked for
5775         opt.accepts and opt.rejects.
5776         (recursive_retrieve): Check directories for opt.excludes.
5777         (recursive_retrieve): Make the dir absolute when checking
5778         opt.excludes.
5779
5780         * html.c (htmlfindurl): Recognize <applet code=...> and <script
5781         src=...>
5782
5783 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
5784
5785         * ftp.c (getftp): Do not line-break assert entries at all.
5786         (ftp_retrieve_dirs): docfix.
5787
5788         * connect.c (select_fd): Use fd + 1 as nfds.
5789
5790         * version.c: Changed version to 1.4b29.
5791
5792 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
5793
5794         * version.c: "Released" 1.4b28.
5795
5796         * ftp.c (ftp_loop_internal): Check whether f->size == len and
5797         don't continue the loop if it is.
5798         (ftp_get_listing): Remove list_filename on unsuccesful loop.
5799
5800 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
5801
5802         * ftp.c (ftp_loop_internal): Use strcpy to initialize tmp.
5803         (getftp): Do not use multiline assert.
5804
5805         * http.c (hparsestatline): Use mjr and mnr instead of major and
5806         minor, which don't compile on Ultrix.
5807         (http_loop): Use strcpy() to initialize tmp.
5808
5809         * all: Geturl -> Fetch
5810
5811 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
5812
5813         * recur.c (parse_robots): Fixed an off-by-one bug when looking for
5814         ':'.
5815
5816         * html.c (htmlfindurl): Fixed several possible off-by-one bugs by
5817         moving `bufsize &&' to the beginning of each check in for-loops.
5818
5819         * recur.c (parse_robots): Close fp on exit.
5820
5821         * url.c (mymkdir): Check for each directory before creating.
5822
5823 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
5824
5825         * version.c: Changed version to 1.4b28.
5826
5827 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
5828
5829         * version.c: "Released" 1.4b27.
5830
5831         * init.c (parse_line): Use isspace.
5832         (parse_line): Free *com on all errors.
5833
5834         * ftp.c (ftp_loop): Change FTPOK to RETROK before exiting.
5835         (delelement): Use next instead of f->next and prev instead of
5836         f->prev.
5837         (delelement): Free the members of the deleted element.
5838
5839         * http.c (http_loop): Do not return RETROK on code != 20x.
5840
5841         * init.c (cleanup): Free opt.user_header.
5842         (cleanup): Free opt.domains.
5843
5844         * url.c (freelists): Moved to cleanup().
5845
5846         * http.c (hparsestatline): Docfix.
5847
5848         * main.c (main): Return with error status on unsuccesful
5849         retrieval.
5850
5851         * init.c (setval): Do not remove listing when mirroring.
5852
5853         * url.c (url_filename): Use opt.fileprefix.
5854
5855         * ftp.c (ftp_get_listing): Use url_filename to get filename for
5856         .listing.
5857
5858         * main.c (main): New option: -rn.
5859
5860 1996-10-15  Hrvoje Niksic  <hniksic@srce.hr>
5861
5862         * Makefile.in (RM): Added RM = rm -f.
5863
5864         * host.c (clean_hosts): New function.
5865         (free_hlist): Just free the list, no reset.
5866
5867         * version.c: Changed version to 1.4b27.
5868
5869 1996-10-13  Hrvoje Niksic  <hniksic@srce.hr>
5870
5871         * version.c: "Released" 1.4b26.
5872
5873         * retr.c (retrieve_from_file): If call get_urls_html with
5874         opt.spider to make it silent in spider mode.
5875
5876         * url.c (str_url): Use CLEANDUP instead of URL_CLEANSE.
5877
5878         * url.h (CLEANDUP): New macro.
5879
5880         * http.c (gethttp): Fixed a bug that freed location only when it
5881         was NULL.
5882
5883         * retr.c (retrieve_url): Free url if it will not be stored,
5884         i.e. newloc is NULL.
5885
5886         * html.c (htmlfindurl): Handle exiting from quotes correctly; the
5887         old version would bug out on <a href="x#a"href="y">.
5888
5889         * html.h (state_t): New member in_quote.
5890
5891         * html.c (htmlfindurl): Free s->attr at the beginning of
5892         attr-loop.
5893
5894         * recur.c (recursive_retrieve): Recognize RCLEANUP.
5895         (tried_robots): Make hosts a global variable.
5896         (recursive_retrieve): Free constr after URL host optimization.
5897         (tried_robots): Free urlinfo before exiting.
5898
5899         * utils.c (free_slist): New function.
5900
5901         * recur.c (recursive_retrieve): Use flags to add cleanup
5902         possibility.
5903
5904         * main.c (main): Free filename after recursive_retrieve.
5905
5906         * http.c (gethttp): Store successful responses too.
5907
5908 1996-10-12  Hrvoje Niksic  <hniksic@srce.hr>
5909
5910         * all: Constified the whole source.  This required some minor
5911         changes in many functions in url.c, possibly introducing bugs -- I
5912         hope not.
5913
5914         * ftp-basic.c: Removed last_respline.
5915
5916         * http.c (gethttp): Free type.
5917
5918         * host.c (same_host): Free real1 and real2.
5919
5920         * main.c (main): New option --spider.
5921
5922         * retr.c (get_contents): Don't reset errno.
5923
5924         * main.c (main): Sorted the options.
5925
5926         * connect.c (iread): Set errno to ETIMEDOUT only if it was left
5927         uninitialized by select().
5928
5929         * http.c (http_loop): Print the time when the connection is
5930         closed.
5931         (gethttp): Debug-print the HTTP request.
5932
5933 1996-10-11  Hrvoje Niksic  <hniksic@srce.hr>
5934
5935         * connect.c (iread): Do not try reading after timeout.
5936
5937         * main.c (main): Would bug out on -T.
5938
5939         * connect.c (select_fd): Do not use exceptfds.
5940         (iread): Set ETIMEDOUT on select_fd <= 0.
5941
5942         * version.c: Changed version to 1.4b26.
5943
5944 1996-10-10  Hrvoje Niksic  <hniksic@srce.hr>
5945
5946         * version.c: "Released" 1.4b25.
5947
5948         * ftp-unix.c (ftp_parse_unix_ls): Ignore lines without file name
5949         or link name.
5950
5951         * http.c (gethttp): Add errcode to struct hstat.
5952         (http_loop): Use it.
5953
5954         * url.c (no_proxy_match): Simplify using char** for no_proxy.
5955
5956         * options.h (struct options): Make opt.no_proxy a vector.
5957
5958         * utils.c (sepstring): Use !*s instead of !strlen(s).
5959
5960         * init.c (setval): Set opt.maxreclevel to 0 on --mirror.
5961         (getperms): Use ISODIGIT instead of isdigit.
5962
5963         * ftp.c (getftp): Print time.
5964
5965         * main.c (main): Use legible output of downloaded quantity.
5966
5967         * ftp.c (getftp): Use elapsed_time().
5968         (ftp_loop_internal): Use rate().
5969
5970         * http.c (http_loop): Add download ratio output; Use rate().
5971
5972         * utils.c (rate): New function.
5973
5974 1996-10-09  Hrvoje Niksic  <hniksic@srce.hr>
5975
5976         * http.c (http_loop): Use timer.
5977
5978         * ftp.c: Split to ftp-basic.c and ftp.c
5979
5980         * utils.c (reset_timer): New function.
5981         (elapsed_time): New function.
5982
5983         * retr.c (show_progress): Make bytes_in_line and offs long; should
5984         work on 16-bit machines.
5985
5986 1996-10-08  Hrvoje Niksic  <hniksic@srce.hr>
5987
5988         * url.c (in_acclist): New argument backward.
5989
5990         * ftp.c (ftp_retrieve_glob): Use acceptable() to determine whether
5991         a file should be retrieved according to suffix.
5992         (ftp_get_listing): Check the return value of unlink; Do not call
5993         ftp_retrieve_dirs if depth reached maxreclevel.
5994         (ftp_retrieve_dirs): Check whether the directory is in
5995         exclude-list.
5996
5997         * main.c (main): Print the version number at the beginning of
5998         DEBUG output.
5999         (main): Use strrchr when creating exec_name.
6000
6001         * ftp.c (ftp_retrieve_glob): Do not close control connection.
6002
6003         * version.c: Changed version to 1.4b25.
6004
6005 1996-10-07  Hrvoje Niksic  <hniksic@srce.hr>
6006
6007         * version.c: "Released" 1.4b24.
6008
6009         * Makefile.in: Rewrite.
6010
6011         * ftp.c (ftp_loop_internal): Likewise.
6012
6013         * retr.c (time_str): Check for failed time().
6014
6015         * html.c (htmlfindurl): Recognize <fig src> and <overlay src> from
6016         HTML3.0.
6017
6018         * retr.c (time_str): Return time_t *.
6019
6020         * connect.c (bindport): Close msock on unsuccesful bind.
6021         (bindport): The same for getsockname and listen.
6022
6023         * retr.c (retrieve_url): Allow any number of retries on
6024         proxy.
6025
6026         * http.c (gethttp): Do not treat errno == 0 as timeout.
6027         (http_loop): Likewise.
6028         (http_loop): Cosmetic changes.
6029
6030         * connect.c (iread): Set errno to ETIMEDOUT in case of timeout.
6031
6032         * retr.c (get_contents): Reset errno.
6033
6034         * ftp.c (getftp): Minor fixes.
6035
6036 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
6037
6038         * http.c: Do not use backups.
6039
6040         * geturl.1 (WARNING): Warn that man-page could be obsolete.
6041
6042         * getopt.c (getopt_long): Moved to getopt.c
6043
6044         * geturl.texi: Enhanced.
6045
6046         * main.c (main): Use it.
6047
6048         * recur.c (convert_all_links): New function.
6049
6050         * utils.c (add_slist): New argument flags.
6051
6052         * recur.c (recursive_retrieve): Update a list of downloaded URLs.
6053         (parse_robots): Do not chuck out empty value fields.
6054         (parse_robots): Make yourself welcome on empty Disallow.
6055
6056         * version.c: Changed version to 1.4b24.
6057
6058 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
6059
6060         * version.c: "Released" 1.4b23.
6061
6062         * ftp.c (ftp_loop_internal): Get the time after getftp.
6063
6064         * Makefile.in (install.info): New target.
6065         (install): Use it.
6066
6067         * http.c (http_loop): Fix output when doing -O.
6068
6069 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
6070
6071         * geturl.texi: New file.
6072
6073         * main.c (main): Do not print the warnings and download summary if
6074         opt.quiet is set.
6075
6076         * version.c: Changed version to 1.4b23.
6077
6078 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
6079
6080         * "Released" 1.4b22.
6081
6082         * atotm.c (atotm): Use True and False instead of TRUE and FALSE,
6083         to avoid redefinition warnings.
6084
6085         * host.c (store_hostaddress): Use memcpy() to copy the address
6086         returned by inet_addr.
6087
6088         * version.c: Changed version to 1.4b22.
6089
6090 1996-10-04  Hrvoje Niksic  <hniksic@srce.hr>
6091
6092         * version.c: "Released" 1.4b21.
6093
6094         * ftp-unix.c (ftp_parse_ls): Renamed to ftp_parse_unix_ls.
6095
6096         * ftp.c (ftp_port): Use conaddr.
6097         (getftp): Print the file length.
6098         (ftp_retrieve_list): Check the stamps of plain files only.
6099
6100         * connect.c (closeport): Do not call shutdown().
6101         (conaddr): New function.
6102
6103         * html.c (ftp_index): Made it dfp-aware.
6104
6105         * init.c (cleanup): New name of freemem. Close opt.dfp.
6106
6107         * ftp.c (getftp): Use opt.dfp if it is set.
6108
6109         * ftp-unix.c (ftp_parse_ls): Recognize time in h:mm format.
6110
6111         * ftp.c (ftp_retrieve_dirs): Fixed a bug that caused incorrect
6112         CWDs to be sent with recursive FTP retrievals.
6113
6114 1996-10-03  Hrvoje Niksic  <hniksic@srce.hr>
6115
6116         * recur.c (parse_robots): Made it more compliant with "official"
6117         specifications.
6118
6119         * http.c: New function.
6120
6121         * ftp-unix.c (ftp_parse_ls): Added better debug output.
6122
6123         * ftp.c (getftp): Print out the LIST in case of
6124         opt.print_server_response.
6125
6126         * version.c: Changed version to 1.4b21.
6127
6128 1996-10-01  Hrvoje Niksic  <hniksic@srce.hr>
6129
6130         * version.c: "Released" 1.4b20.
6131
6132         * README: Update.
6133
6134         * http.c (gethttp): Preset lengths of various headers instead of
6135         calculating them dynamically.
6136         (gethttp): Check for 206 partial contents.
6137
6138 1996-09-30  Hrvoje Niksic  <hniksic@srce.hr>
6139
6140         * configure.in: Set SYSTEM_GETURLRC to $libdir/geturlrc
6141
6142         * http.c (gethttp): Send the port number in the Host: header.
6143
6144 1996-09-29  Hrvoje Niksic  <hniksic@srce.hr>
6145
6146         * http.c (gethttp): Send host: header.
6147         (gethttp): Add the possibility of user-defined headers.
6148         (gethttp): Move decision about pragma: no-cache to http_loop,
6149         where it belongs.
6150         (gethttp): Pass a struct instead of enormous argument list.
6151         (http_loop): Use a new, fancier display format.
6152         (ftp_loop): Likewise.
6153
6154         * main.c: (hangup): Turn off buffering of the new log file.
6155
6156         * install-sh: Likewise.
6157
6158         * config.sub: Replace with the one in autoconf-2.10
6159
6160         * geturl.1: Update.
6161
6162         * init.c: New options httpuser and httppasswd.
6163
6164         * http.c: (base64_encode_line): New function.
6165         (gethttp): Send authentication.
6166
6167         * connect.c (make_connection): Use store_hostaddress.
6168
6169 1996-09-28  Hrvoje Niksic  <hniksic@srce.hr>
6170
6171         * host.c (store_hostaddress): New function.
6172
6173         * NEWS: Update.
6174
6175         * http.c (hgetrange): New function.
6176         (gethttp): Use ranges.
6177
6178         * utils.c (numdigit): Accept long instead of int.
6179
6180         * http.c (http_loop): Add restart capabilities.
6181
6182         * ftp.c (ftp_retrieve_glob): Fixed a bug that could cause matchres
6183         being used uninitialized.
6184         (ftp_retrieve_list): Similar fix.
6185
6186         * host.c (add_hlist): Fixed a bug that could cause cmp being used
6187         uninitialized.
6188
6189         * url.c (construct_relative): New function.
6190
6191         * recur.c (recursive_retrieve): Use it.
6192
6193         * retr.c (convert_links): New function.
6194
6195 1996-09-27  Hrvoje Niksic  <hniksic@srce.hr>
6196
6197         * url.c (free_urlpos): New function.
6198
6199         * recur.c (recursive_retrieve): Adapt.
6200
6201         * url.c (get_urls_html): Return a linked list instead of a vector.
6202
6203         * url.c (get_urls_file): Return a linked list instead of a vector.
6204
6205         * geturl.1: Update.
6206
6207         * http.c (gethttp): Implement it.
6208
6209         * init.c (setval): New option: SAVEHEADERS
6210
6211         * ftp.c (ftp_loop_internal): Do not set restval if listing is to
6212         be retrieved. Lack of this test caused bugs when the connection
6213         was lost during listing.
6214
6215         * retr.c (retrieve_url): Fixed a bug that caused
6216         coredumps. *newloc is now reset by default.
6217         (retrieve_url): Lift the twenty-tries limit on proxies.
6218
6219         * version.c: Changed version to 1.4b20.
6220
6221 1996-09-20  Hrvoje Niksic  <hniksic@srce.hr>
6222
6223         * version.c: "Released" 1.4b19.
6224
6225 1996-09-19  Hrvoje Niksic  <hniksic@srce.hr>
6226
6227         * ftp.c (ftp_loop_internal): Renamed from ftp_1fl_loop.
6228         (getftp): Changed prototype to accept ccon *.
6229
6230 1996-09-17  Hrvoje Niksic  <hniksic@srce.hr>
6231
6232         * ftp.c (ftp_retrieve_list): Fixed a bug that caused setting
6233         incorrect values to files pointed to by symbolic links.
6234         (ftp_1fl_loop): Do not count listings among the downloaded URL-s.
6235
6236 1996-09-16  Hrvoje Niksic  <hniksic@srce.hr>
6237
6238         * url.c (mkstruct): Do not prepend "./" in front of a pathname.
6239
6240         * main.c (main): New option: --user-agent.
6241
6242         * geturl.1: Ditto.
6243
6244         * init.h: Ditto.
6245
6246         * init.c (setval): Ditto.
6247
6248         * main.c (main): Rename "server-headers" to "server-response".
6249
6250         * ftp-unix.c (ftp_parse_ls): Check for asterisks at the end of
6251         executables in 'ls -F' listings.
6252
6253 1996-09-15  Hrvoje Niksic  <hniksic@srce.hr>
6254
6255         * url.c (parseurl): Remove realloc() and sprintf().
6256         (str_url): Get rid of sprintf().
6257
6258         * recur.c (recursive_retrieve): Enable FTP recursion through proxy
6259         servers.
6260
6261         * url.h (URL_CLEANSE): Made it else-resistant.
6262         (USE_PROXY): New macro.
6263
6264 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
6265
6266         * NEWS: Update.
6267
6268         * version.c: Changed version to 1.4b19.
6269
6270 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
6271
6272         * version.c: "Released" 1.4b18.
6273
6274         * url.c: Made it reallocate space exponentially.
6275
6276 1996-09-14  Drazen Kacar  <dave@fly.cc.fer.hr>
6277
6278         * html.c (htmlfindurl): Added <frame src> and <iframe src> among
6279         the list of stuff to fetch.
6280
6281 1996-09-13  Hrvoje Niksic  <hniksic@srce.hr>
6282
6283         * url.c (get_urls_html): Fixed a bug that caused SIGSEGV's with
6284         -Fi.
6285
6286         * html.c (htmlfindurl): Rewrite.
6287
6288         * http.c (gethttp): Use opt.proxy_cache.
6289
6290         * main.c (main): Added --cache option.
6291
6292         * ftp.c (ftp_response): Print server response if opt.print_server
6293         response is set.
6294         (getftp): Print newlines after each request if the server response
6295         is to be printed.
6296         (ftp_response): Copy the last response line to last_respline.
6297
6298         * http.c (gethttp): Add Pragma: nocache for retried
6299         proxy-retrievals.
6300
6301         * ftp.c (getftp): Use it.
6302
6303         * retr.c (buf_discard): New function.
6304
6305         * ftp.c (ftp_response): Use buf_readchar().
6306         (getftp): Flush the control connection buffer before calling
6307         get_contents().
6308
6309         * retr.c (buf_readchar): New function.
6310         (buf_flush): New function.
6311         (get_contents): Use buf_readchar() instead of read(x, x, 1).
6312         (get_contents): Use buf_flush.
6313
6314 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
6315
6316         * ftp.c: Incorporate changes to ftp_response.
6317
6318         * ftp.c (ftp_response): Allocate the server response dynamically,
6319         as in read_whole_line and fetch_next_header.
6320
6321         * utils.c (read_whole_line): Fixed a bug that prevented reading
6322         the last line if it is not \n-terminated. Also fixed a possible
6323         memory overflow.
6324
6325         * http.c (fetch_next_header): Return malloc-ed string as large as
6326         needed.
6327         (gethttp): Use new fetch_next_header.
6328
6329 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
6330
6331         * http.c (hgetlen): Compute the header length the first time only.
6332         (hgettype): Ditto.
6333         (hgetlocation): Ditto.
6334         (hgetmodified): Ditto.
6335
6336 1996-09-11  Hrvoje Niksic  <hniksic@srce.hr>
6337
6338         * sample.geturlrc: Update.
6339
6340 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
6341
6342         * http.c (http_loop): Ditto.
6343
6344         * ftp.c (getftp): Open the output file as binary.
6345
6346         * version.c: Changed version to 1.4b18.
6347
6348 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
6349
6350         * version.c: "Released" 1.4b17.
6351
6352         * ftp-unix.c (ftp_parse_ls): If unable to open file, return NULL
6353         instead of failed assertion.
6354
6355 1996-09-09  Hrvoje Niksic  <hniksic@srce.hr>
6356
6357         * ftp.c (ftp_get_listing): Add a numbered suffix to LIST_FILENAME
6358         if a file of that name already exists.
6359
6360 1996-09-05  Hrvoje Niksic  <hniksic@srce.hr>
6361
6362         * ftp.c (ftp_1fl_loop): Handler FTPPORTERR and FOPENERR correctly.
6363
6364         * config.h.in: Define gethostbyname as Rgethostbyname when using
6365         Socks.
6366
6367         * configure.in: Check for -lresolv if using Socks.
6368
6369         * version.c: Changed version to 1.4b17.
6370
6371 1996-07-15  Hrvoje Niksic  <hniksic@srce.hr>
6372
6373         * version.c: "Released" 1.4b16.
6374
6375         * http.c (gethttp): More intelligent check for first line of HTTP
6376         response.
6377         (gethttp): Would bug out on time-stamping.
6378
6379         * version.c: Changed version to 1.4b16.
6380
6381 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
6382
6383         * version.c: Released 1.4b15.
6384
6385         * http.c (http_loop): Print \n after the loop entry, not before.
6386
6387         * url.c (url_filename): Use ISDOT.
6388
6389         * url.h (ISDOT): New macro.
6390
6391         * recur.c (recursive_retrieve): Change only opt.recursive for
6392         following FTP.
6393
6394 1996-07-11  Antonio Rosella <antonio.rosella@agip.it>
6395
6396         * socks/geturl.cgi: Fixed version No.
6397
6398         * socks/download-netscape.html: Ditto.
6399
6400         * socks/download.html: Changed socks.html to download.html.
6401
6402 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
6403
6404         * url.c (url_filename): Check for opt.dirstruct instead for
6405         opt.recursive && opt.dirstruct.
6406
6407         * init.c (defaults): Ditto.
6408         (defaults): Reset dirstruct by default.
6409         (setval): Set opt.dirstruct whenever setting recursive.
6410
6411         * init.h: Removed FORCEDIRHIER.
6412
6413         * INSTALL: Added -L to socks-description.
6414
6415         * version.c: Changed version to 1.4b15.
6416
6417 1996-07-10  Hrvoje Niksic  <hniksic@srce.hr>
6418
6419         * version.c: "Released" 1.4b14.
6420
6421         * geturl.1: Update AUTHOR to include Rosella as contributor.
6422
6423         * NEWS: Update.
6424
6425         * socks/geturl.cgi: Simplified command creation, nuked <blink>.
6426
6427         * socks/geturl.cgi: Wrap nutscape extensions within if $netscape.
6428         (cal_time): Fix == to eq.
6429
6430         * socks/geturl.cgi: GPL-ized with permission of A. Rosella.
6431
6432         * geturl.1 (hostname): Moved URL CONVENTIONS to the beginning.
6433
6434         * Makefile.in: Use @VERSION@.
6435
6436         * configure.in: Check version from version.c.
6437
6438         * socks/geturl.cgi: Changed /pub/bin/perl to /usr/bin/perl.
6439
6440         * socks/download.html: Created from download-netscape.html, made
6441         HTML-2.0 compliant.
6442
6443         * recur.c (recursive_retrieve): Set opt.force_dir_hier when
6444         following FTP links from recursions.
6445
6446 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
6447
6448         * url.c (mymkdir): Fixed a bug that prevented mymkdir() to create
6449         absolute directories correctly.
6450
6451         * version.c: Changed version to 1.4b14.
6452
6453 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
6454
6455         * version.c: "Released" 1.4b13.
6456
6457         * url.c (make_backup): New function.
6458
6459         * http.c (http_loop): Make a backup copy of the local file (using
6460         rename(2)) before opening it.
6461
6462         * main.c (main): Added --backups.
6463
6464         * host.c (ftp_getaddress): Bail out on failed mycuserid().
6465         (ftp_getaddress): Check for leading dot on MY_DOMAIN.
6466         (ftp_getaddress): Check for empty, null or (null) domain.
6467
6468         * url.c (get_urls_html): If this_url is NULL, the base must have a
6469         protocol.
6470         (parseurl): Use has_proto.
6471
6472         * retr.c (retrieve_url): Warn when proxy is used with more than 20
6473         retries.
6474
6475         * url.c (mkstruct): Create the directory (calling mymkdir()) only
6476         if it is not already there.
6477         (has_proto): New function.
6478         (get_urls_html): Eliminate the remaining call to findurl -- use
6479         has_proto.
6480
6481         * geturl.1: Ditto.
6482
6483         * main.c: Change -X to -x.
6484
6485         * url.c (url_filename): Simplify creation of filename if
6486         prefix_files is set.
6487         (url_filename): Simplify everything. And I do mean *everything*.
6488         (mkstruct): Add dir_prefix before hostname.
6489         (path_simplify): Fixed a bug that caused writing outside the path
6490         string in case of "." and ".." path strings.
6491
6492 1996-07-06  Hrvoje Niksic  <hniksic@srce.hr>
6493
6494         * init.c: Added --mirror.
6495
6496         * main.c (main): Added -X to force saving of directory hierarchy.
6497
6498         * ftp.c (ftp_retrieve_list): Added recursion depth counter.
6499         (ftp_retrieve_list): Check whether quota is exceeded.
6500
6501         * url.c (get_urls_html): Skip leading blanks for absolute URIs.
6502
6503         * http.c (gethttp): Use referer if present.
6504
6505         * recur.c (recursive_retrieve): Set u->referer before calling
6506         retrieve_url.
6507
6508         * url.c (newurl): Use memset to nullify the struct members.
6509         (freeurl): Free the referer field too.
6510
6511         * url.h: Added referer to urlinfo.
6512
6513         * geturl.1: Updated the manual to document some of the new features.
6514
6515         * utils.c (numdigit): Moved from url.c.
6516
6517         * README: Rewritten.
6518
6519         * config.h.in: Add the support for socks.
6520
6521         * configure.in: Add the support for socks.
6522
6523         * url.c (url_filename): If the dir_prefix is ".", work with just
6524         the file name.
6525         (url_filename): Do not look for .n extensions if timestamping if
6526         turned on.
6527
6528         * retr.c (show_progress): Skip the over-abundant restval data, and
6529         print the rest of it with ',' instead of '.'.
6530
6531 1996-07-05  Hrvoje Niksic  <hniksic@srce.hr>
6532
6533         * retr.c (show_progress): Changed second arg. to long (as it
6534         should be).
6535         (show_progress): Moved to retr.c.
6536         (get_contents): Moved to retr.c.
6537
6538         * version.c: Change version to 1.4b13.
6539
6540 1996-07-05  Hrvoje Lacko <hlacko@fly.cc.fer.hr>
6541
6542         * url.c (in_acclist): Would return after the first suffix.
6543
6544 1996-07-04  Hrvoje Niksic  <hniksic@srce.hr>
6545
6546         * version.c: "Released" 1.4b12.
6547
6548         * url.c (path_simplify): More kludgifications.
6549         (get_urls_html): Use new parameters for htmlfindurl.
6550
6551         * html.c: Removed memorizing "parser states", since the new
6552         organization does not require them.
6553
6554         * init.c (run_geturlrc): Use read_whole_line.
6555
6556         * ftp-unix.c (ftp_parse_ls): Use read_whole_line.
6557
6558         * recur.c (parse_robots): Use read_whole_line.
6559
6560         * utils.c (read_whole_line): New function.
6561
6562         * recur.c (tried_robots): Use add_slist/in_slist, *much* cleaner.
6563
6564         * host.c (ngethostbyname): Call inet_addr just once. Yet to be
6565         tested on OSF and Ultrix.
6566         (add_hlist): New function.
6567         (free_hlist): New function.
6568         (search_host): New function.
6569         (search_address): New function.
6570         (realhost): Use search_host, search_address and add_hlist.
6571         (same_host): Replaced realloc() with strdupdelim(), made
6572         case-insensitive, fixed a memory leak.
6573
6574         * html.c (ftp_index): Fixed tm_min and tm_sec to be tm_hour and
6575         tm_min, like intended.
6576
6577         * version.c: Change user agent information to
6578         Geturl/version.
6579
6580 1996-07-03  Hrvoje Niksic  <hniksic@srce.hr>
6581
6582         * utils.c: Renamed nmalloc.c to utils.c, .h likewise.
6583
6584         * url.c (acceptable): Always accept directories.
6585
6586         * ftp-unix.c (ftp_parse_ls): Support brain-damaged "ls -F"-loving
6587         servers by stripping trailing @ from symlinks and trailing / from
6588         directories.
6589
6590         * ftp.c (ftp_loop): Debugged the "enhanced" heuristics. :-)
6591
6592         * url.c (skip_url): Use toupper instead of UCASE.
6593
6594         * host.c (sufmatch): Made it case-insensitive.
6595
6596         * url.c (match_backwards_or_pattern): Fixed i == -1 to j == -1.
6597         (match_backwards): New function, instead of
6598         match_backwards_or_pattern.
6599
6600         * recur.c (recursive_retrieve): Increased performance by
6601         introducing inl, which reduces number of calls to in_slist to only
6602         one.
6603
6604         * ftp.c (ftp_loop): Enhanced the heuristics that decides which
6605         routine to use.
6606
6607         * main.c (printhelp): Removed the warranty stuff.
6608
6609 1996-07-02  Hrvoje Niksic  <hniksic@srce.hr>
6610
6611         * url.c (add_slist): Simplify.
6612         (match_backwards_or_pattern): New function.
6613         (in_acclist): Use match_backwards_or_pattern.
6614         (matches): Remove.
6615
6616 1996-06-30  Hrvoje Niksic  <hniksic@srce.hr>
6617
6618         * ftp.c (ftp_loop): Call ftp_index on empty file names, if not
6619         recursive.
6620
6621         * html.c (ftp_index): Fixed to work. Beautified the output.
6622
6623         * ftp.c (ftp_retrieve_glob): Another argument to control whether
6624         globbing is to be used.
6625         (ftp_retrieve_list): Compare the time-stamps of local and remote
6626         files to determine whether to download.
6627
6628 1996-06-29  Hrvoje Niksic  <hniksic@srce.hr>
6629
6630         * ftp.c (rel_constr): New function.
6631
6632         * retr.c (retrieve_from_file): Check for text/html before
6633         retrieving recursively.
6634
6635         * main.c (main): Check whether the file is HTML before going into
6636         recursive HTML retrieving.
6637
6638         * ftp.c (ftp_retrieve_list): Manage directories.
6639         (ftp_retrieve_glob): Pass all the file-types to ftp_retrieve_list.
6640         (ftp_1fl_loop): Fixed a bug that caused con->com to be incorrectly
6641         initialized, causing bugchecks in getftp to fail.
6642
6643         * configure.in: Check for symlink.
6644
6645         * ftp.c (ftp_retrieve_list): Added support for symlinks.
6646
6647         * version.c: "Released" 1.4b10.
6648
6649         * atotm.c (atotm): Redeclared as time_t.
6650
6651         * init.c: New variable "timestamping".
6652
6653         * main.c (main): New option 'N'.
6654
6655         * http.c (hgetlocation): Case-insensitive match.
6656         (hgetmodified): New function.
6657         (http_loop): Implement time-stamping.
6658
6659 1996-06-28  Hrvoje Niksic  <hniksic@srce.hr>
6660
6661         * version.c: Changed version to 1.4b10
6662
6663         * atotm.c: New file, from phttpd.
6664
6665         * options.h (struct options): New parameter timestamping.
6666
6667         * version.c: 1.4b9 "released".
6668
6669         * recur.c (recursive_retrieve): Used linked list (ulist) for
6670         faster storing of URLs.
6671
6672         * url.c (get_urls_html): Removed the old kludge with comparing the
6673         outputs of htmlfindurl and findurl.
6674         (get_urls_html): Added better protocol support here.
6675         (create_hash): Removed, as well as add_hash and in_hash.
6676         (addslist): New function.
6677         (in_slist): ditto
6678
6679         * version.c: Released 1.4b8, changed version to b9.
6680
6681 1996-06-27  Hrvoje Niksic  <hniksic@srce.hr>
6682
6683         * ftp.c (freefileinfo): New function.
6684         (delelement): New function.
6685
6686         * everywhere: GPL!
6687
6688         * ftp.c (ftp_loop): Use ccon.
6689         (ftp_retrieve_glob): Likewise.
6690
6691         * ftp.h: Define ccon, to define status of control connection.
6692
6693         * ftp.c (ftp_get_listing): New function.
6694         (ftp_retrieve_more): New function.
6695         (ftp_retrieve_glob): New function.
6696
6697 1996-06-25  Hrvoje Niksic  <hniksic@srce.hr>
6698
6699         * configure.in: Removed the search for cuserid().
6700
6701         * init.c (getmode): Renamed to getperms.
6702
6703 1996-06-24  Hrvoje Niksic  <hniksic@srce.hr>
6704
6705         * version.c: New version.
6706
6707         * main.c (hangup): New function, that handles hangup. Hangup
6708         signal now causes geturl to stop writing on stdout, and to write
6709         to a log file.
6710
6711         * ftp.c (getftp): "Released" 1.4b7.
6712
6713         * html.c (htmlfindurl): Ignore everything inside <head>...</head>.
6714         (ftp_index): Use fileinfo/urlinfo.
6715
6716         * ftp-unix.c (ftp_parse_ls): New function.
6717         (symperms): New function.
6718
6719         * ftp.c (ftp_1fl_loop): New function, to handle 1-file loops.
6720
6721         * retr.c (retrieve_url): Added FTP support.
6722
6723 1996-06-23  Hrvoje Niksic  <hniksic@srce.hr>
6724
6725         * geturl.h: Removed NOTFTP2HTML enum.
6726         Added DO_LOGIN, DO_CWD and DO_LIST. LIST_ONLY is obsolete.
6727
6728         * ftp.c (getftp): Resynched with urlinfo.
6729         (getftp): Removed HMTL-ization of index.html from getftp.
6730
6731         * version.c: 1.4b6 "released".
6732
6733         * options.h (options): New struct, to keep options in.
6734
6735         * http.c (http_loop,gethttp): Synched with proxy.
6736
6737         * retr.c (retrieve_url): Implemented proxy retrieval.
6738
6739         * main.c (main): Use retrieve_from_file.
6740
6741 1996-06-22  Hrvoje Niksic  <hniksic@srce.hr>
6742
6743         * retr.c (retrieve_from_file): New function.
6744
6745         * url.c (parseurl): Modified to return URLOK if all OK. Protocol
6746         can be found in u->proto.
6747
6748         * ftp.c (ftp_response): Fixed to accept multi-line responses as
6749         per RFC 959.
6750
6751         * recr.c (recursive_retrieve): Take newloc from retrieve_url.
6752
6753         * url.c (mymkdir): Removed the file of the same name, if one
6754         exists.
6755         (isfile): New function.
6756         (mkstruct): Fixed the '/' glitches.
6757         (path_simplify): Hacked to treat something/.. correctly.
6758
6759 1996-06-21  Hrvoje Niksic  <hniksic@srce.hr>
6760
6761         * http.c (gethttp): Close the socket after error in headers.
6762         (http_loop): HEOF no longer a fatal header.
6763
6764         * loop.c (retrieve_url): When dt is NULL, do not modify it. This
6765         simplifies the syntax of calling retrieve_url.
6766
6767         * recr.c (recursive_retrieve): Modified to use get_urls_html.
6768
6769         * url.c (get_urls_file): New function.
6770         (get_urls_html): New function.
6771
6772         * recr.c (recursive_retrieve): Patched up to conform to the
6773         standards.
6774
6775         * http.c (gethttp): Synched with the rest...
6776         (gethttp): Treat only CONREFUSED specially, with connection
6777         errors.
6778
6779         * init.c,geturl.1,http.c (http_loop): Removed kill_error.
6780
6781 1996-06-20  Hrvoje Niksic  <hniksic@srce.hr>
6782
6783         * http.c (http_loop): New function.
6784
6785         * loop.c: Removed *lots* of stuff from retrieve_url.
6786
6787         * url.c (parseurl): Changed to work with urlinfo. Integrated
6788         username finding and path parsing.
6789         (newurl): New function.
6790         (freeurl): New function.
6791         (mkstruct): Removed the old bogosities, made it urlinfo-compliant.
6792         (url_filename): Likewise.
6793         (path_simplify): Accept relative paths too.
6794         (opt_url): Made urlinfo-compliant, removed bogosities.
6795         (path_simplify): Expanded to accept relative paths.
6796         (str_url): A replacement for hide_url
6797         (decode_string): Fixed a bug that caused malfunctioning when
6798         encountering an illegal %.. combination.
6799         (opt_url): Removed the argument. Dot-optimizations are now default.
6800
6801         * nmalloc.c (strdupdelim): New function.
6802
6803         * url.h: Added the urlinfo structure
6804
6805 1996-06-19  Hrvoje Niksic  <hniksic@srce.hr>
6806
6807         * url.c (hide_url): Thrown out the protocol assertion. Do not
6808         change the URL if the protocol if not recognized.
6809         (findurl): Put continue instead of break.
6810
6811 1996-06-18  Hrvoje Niksic  <hniksic@srce.hr>
6812
6813         * sample.geturlrc: Changed the defaults to be commented out and
6814         harmless (previous defaults caused pains if copied to
6815         ~/.geturlrc).
6816
6817         * http.c (gethttp): Print the HTTP request in debug mode.
6818
6819         * connect.c (iread): Added EINTR check loop to select-ing
6820         too. EINTR is now correctly handled with select().
6821
6822         * TODO: new file
6823
6824 1996-05-07  Hrvoje Niksic  <hniksic@srce.hr>
6825
6826         * host.c (same_host): Made the function a little bit more
6827         intelligent regarding diversified URL syntaxes.
6828
6829         * url.c (skip_url): Spaces are now skipped after URL:
6830
6831         * Released 1.3.1 with the patch to prevent crashing when sending
6832         NULL to robot* functions and the patch to compile "out of the box"
6833         on AIX.
6834
6835         * recr.c (recursive_retrieve): Added checking whether this_url is
6836         NULL when calling the robot functions.
6837
6838         * ChangeLog: New file.