sjero.net Git - wget/blob - src/ChangeLog

   1 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
   2
   3         * retr.c (get_contents): Cosmetic fixes.
   4
   5 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
   6
   7         * url.c (uri_merge): Get rid of uri_merge_1.
   8         (uri_merge): Merge "foo//", "bar" as "foo//bar", not "foo///bar",
   9         i.e. don't add an extra slash merely because BASE ends with two
  10         slashes.
  11         (parse_credentials): Renamed from parse_uname.  Rewrittern in
  12         standard [beg, end) calling style.
  13         (url_skip_credentials): Renamed from url_skip_uname.  Made static.
  14         (url_skip_credentials): Include # and ; as terminators.  Old code
  15         would mistakenly consider "http://foo.com#hniksic@iskon.hr" to
  16         contain a username.
  17         (url_skip_scheme): Removed because it was unused.
  18         (url_has_scheme): Require "scheme" to be at least one char long.
  19
  20 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
  21
  22         * url.c (url_file_name): Expect NULL dir_prefix.
  23
  24         * init.c (cmd_file): Use a macro to prevent multiple #ifdef
  25         WINDOWS.
  26         (defaults): Set dir_prefix to NULL by default.
  27
  28 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
  29
  30         * safe-ctype.h (_sch_test): Cast BIT to unsigned char, like latest
  31         gcc does.
  32
  33 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
  34
  35         * wget.h (BOUNDED_TO_ALLOCA): Evaluate PLACE only once.
  36         (ARRAY_SIZE): Renamed to countof.  All callers updated.
  37
  38 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
  39
  40         * main.c (main): New option --strict-comments.
  41
  42         * html-parse.c (find_comment_end): New function: simple BM search
  43         for "-->".
  44         (map_html_tags): Use it if looking at a comment and not in strict
  45         comments mode.
  46
  47 2003-09-17  Aurelien Marchand  <artaxerxes@users.sf.net>
  48
  49         * ftp.h: Added OS400 system in enum
  50         * ftp-basic.c: recognize OS400 systems
  51         * ftp.c: don't prepend the CWD if talking to OS400, since it
  52         breaks the change in library
  53
  54 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
  55
  56         * retr.c (get_contents): Pass the correct argument to ssl_iread.
  57
  58 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
  59
  60         * safe-ctype.h: Don't #define ctype.h macros to errors because
  61         that loses when someone #include's ctype.h after safe-ctype.h.
  62
  63 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
  64
  65         * url.c: Undef U, W, C after use.
  66
  67 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
  68
  69         * init.c (cmd_spec_restrict_file_names): Allow the OS setting to
  70         be augmented by ",nocontrol" which means don't escape the control
  71         characters, but otherwise keep OS settings.
  72
  73         * url.c (file_unsafe_char): Deleted.
  74         (append_uri_pathel): Query filechr_table directly.
  75         (filechr_table): Separated Unix, Windows, and control-unsafe
  76         characters.
  77
  78 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
  79
  80         * url.c (url_escape_1): New function.
  81         (url_escape): Use it.
  82         (sync_path): Handle pathological cases where u->file and u->dir
  83         contain really strange characters.
  84         (ENCODE): Deleted.
  85         (REENCODE): Deleted.
  86
  87 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
  88
  89         * url.c (url_file_name): Don't reallocate FNAME if the file
  90         doesn't exist, as is usually the case.
  91
  92         * utils.c (unique_name): New flag allow_passthrough.
  93
  94 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
  95
  96         * utils.c (wtimer_sys_diff): Convert the time difference to signed
  97         __int64, then to double.  This works around MS VC++ 6 which can't
  98         convert unsigned __int64 to double directly.
  99
 100 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
 101
 102         * Makefile.in (clean): Also remove the core.<number> files
 103         produced by recent Linux systems.
 104
 105 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
 106
 107         * http.c (post_file): Don't pad the file if it's not large
 108         enough.  Bail out instead.
 109
 110 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
 111
 112         * retr.c (get_contents): Reduce the buffer size to the amount of
 113         data that may pass through for one second.  This prevents long
 114         sleeps when limiting bandwidth.
 115
 116         * connect.c (connect_to_one): Reduce the socket's RCVBUF when
 117         bandwidth limitation to small values is requested.
 118
 119 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
 120
 121         * progress.c (update_speed_ring): Moved the speed ring update to a
 122         separate function and documented it better.
 123
 124         * progress.c: Use `double' for most timers to support granularity
 125         smaller than 1ms.
 126
 127 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
 128
 129         * wget.h (XDIGIT_TO_XCHAR): Implement as index into a literal
 130         string.
 131         (XDIGIT_TO_xchar): Ditto.
 132
 133 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
 134
 135         * utils.c: Change the type of timer-related functions from long to
 136         double, for better precision.  On machines supporting gettimeofday
 137         the timers now work with granularity of less than one millisecond.
 138
 139 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
 140
 141         * cookies.c (parse_set_cookies): Fixed the parser to handle more
 142         edge conditions.
 143         (test_cookies): New function, contains a test suite for
 144         parse_set_cookies.
 145
 146 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
 147
 148         * url.c (strpbrk_or_eos): Implement as a macro under Gcc.
 149
 150 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
 151
 152         * cookies.c (parse_set_cookies): Allow trailing space in
 153         set-cookies header.  Also, allow any amount of whitespace, not
 154         only one character.  Allow empty set-cookies header without
 155         spewing an error.
 156
 157 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
 158
 159         * url.c (append_uri_pathel): Use opt.restrict_file_names when
 160         calling file_unsafe_char.
 161
 162         * init.c: New command restrict_file_names.
 163
 164         * main.c (main): New option --restrict-file-names[=windows,unix].
 165
 166         * url.c (url_file_name): Renamed from url_filename.
 167         (url_file_name): Add directory and hostdir prefix here, not in
 168         mkstruct.
 169         (append_dir_structure): New function, does part of the work that
 170         used to be in mkstruct.  Iterates over path elements in u->path,
 171         calling append_uri_pathel on each one to append it to the file
 172         name.
 173         (append_uri_pathel): URL-unescape a path element and reencode it
 174         with a different set of rules, more appropriate for handling of
 175         files.
 176         (file_unsafe_char): New function, uses a lookup table to decide
 177         whether a character should be escaped for use in file name.
 178         (append_string): New utility function.
 179         (append_char): Ditto.
 180         (file_unsafe_char): New argument restrict_for_windows, decide
 181         whether Windows file names should be escaped in run-time.
 182
 183         * connect.c: Include <stdlib.h> to get prototype for abort().
 184
 185 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
 186
 187         * utils.c (wtimer_sys_set): Extracted the code that sets the
 188         current time here.
 189         (wtimer_reset): Call it.
 190         (wtimer_sys_diff): Extracted the code that calculates the
 191         difference between two system times here.
 192         (wtimer_elapsed): Call it.
 193         (wtimer_elapsed): Don't return a value smaller than the previous
 194         one, which could previously happen when system time is set back.
 195         Instead, reset start time to current time and note the elapsed
 196         offset for future calculations.  The returned times are now
 197         guaranteed to be monotonically nondecreasing.
 198
 199 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
 200
 201         * host.c (lookup_host): Print the result of the DNS lookup.
 202
 203 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
 204
 205         * init.c (cmd_boolean): Accept yes/no along with on/off.
 206         (cmd_lockable_boolean): Ditto.
 207
 208 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
 209
 210         * init.c: New command dns_cache.
 211
 212         * main.c (main): New option --dns-cache[=off].
 213
 214 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
 215
 216         * config.h.in: Initialize HAVE_GETADDRINFO and ENABLE_IPV6.
 217
 218         * all: Use #ifdef ENABLE_IPV6 instead of the older INET6.  Use
 219         HAVE_GETADDRINFO for getaddrinfo-related stuff.
 220
 221 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
 222
 223         * url.c (url_parse): Return an error if the URL contains a [...]
 224         IPv6 numeric address and we don't support IPv6.
 225
 226 2003-09-05  Hrvoje Niksic  <hniksic@xemacs.org>
 227
 228         * url.c (is_valid_ipv6_address): Modified to not require
 229         zero-terminated strings.
 230         (is_valid_ipv4_address): Ditto.
 231
 232 2003-09-05  Mauro Tortonesi <mauro@deepspace6.net>
 233
 234         src/url.c: added RFC 2732 compliance for URL parsing. The
 235         functions is_*_address valid are a modified version of
 236         glibc 2.3.2 inet_pton's code.
 237
 238 2003-09-03  Ahmon Dancy  <dancy@dancysoft.com>
 239
 240         * main.c init.c options.h: Added --retry-connrefused option so
 241         that Connection Refused failures are treated as non-fatal (when
 242         trying to retrieve from busy servers).
 243
 244         * wget.h: New CONNECT_ERROR macro for encapsulating this
 245         modification.
 246
 247         * ftp.c http.c : Use CONNECT_ERROR macro in places where
 248         ECONNREFUSED was checked.
 249
 250 2003-01-11  Ian Abbott  <abbotti@mev.co.uk>
 251
 252         * ftp.c (ftp_retrieve_glob): Reject insecure filenames as determined
 253         by calling new function has_insecure_name_p.  This is based on a
 254         patch by Red Hat.
 255
 256         * fnmatch.c (has_insecure_name_p): New function: returns non-zero
 257         if filename starts with `/' or contains `../' and is therefore
 258         considered insecure.
 259
 260         * fnmatch.h: Declare has_insecure_name_p().
 261
 262 2002-08-03  Hrvoje Niksic  <hniksic@xemacs.org>
 263
 264         * init.c (cmd_file): Allocate RESULT correctly.
 265
 266 2002-07-24  Hrvoje Niksic  <hniksic@xemacs.org>
 267
 268         * recur.c (retrieve_tree): Check whether downloaded_html_set is
 269         non-NULL before using it.
 270
 271 2002-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
 272
 273         * html-parse.c (NAME_CHAR_P): Allow almost any character here.
 274
 275 2002-05-24  Hrvoje Niksic  <hniksic@arsdigita.com>
 276
 277         * progress.c (bar_set_params): Fall back to dot progress if the
 278         terminal type is "emacs".
 279
 280 2002-05-20  Hrvoje Niksic  <hniksic@arsdigita.com>
 281
 282         * log.c: Don't #undef WGET_USE_STDARG.
 283
 284 2002-05-16  Hrvoje Niksic  <hniksic@arsdigita.com>
 285
 286         * hash.c (prime_size): Store the offset of the prime number in the
 287         prime table.  When searching, start with the given offset.
 288         (hash_table_new): Pass the pointer to ht->prime_offset to
 289         prime_size.
 290         (grow_hash_table): Ditto.
 291         (prime_size): Make 13 the first prime to make empty hash tables
 292         slightly smaller.
 293
 294 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
 295
 296         * recur.c (download_child_p): Minor optimization to avoid an
 297         unnecessary additional call to schemes_are_similar_p function.
 298
 299 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
 300
 301         * url.c (schemes_are_similar_p): New function to test enumerated
 302         scheme codes for similarity.
 303
 304         * url.h: Declare it.
 305
 306         * recur.c (download_child_p): Use it to compare schemes.  This
 307         also fixes a bug that allows hosts to be spanned (without the
 308         -H option) when the parent scheme is https and the child's is
 309         http or vice versa.
 310
 311 2002-05-14  Bill Richardson  <bill@riverstonenet.com>
 312
 313         * ftp.c (getftp): Don't ftruncate stdout.
 314
 315         * http.c (gethttp): Don't ftruncate stdout.
 316
 317 2002-05-09  Ian Abbott  <abbotti@mev.co.uk>
 318
 319         * cmpt.c (strptime_internal): Synched with glibc-2.1.3.
 320         (get_number): Ditto.
 321         (get_alt_number): Ditto.
 322         (__isleap): New function-like macro used by strptime.
 323         (day_of_the_week): New function used by strptime.
 324         (day_of_the_year): Ditto.
 325         (__mon_yday): Now shared by mktime and strptime implementations.
 326
 327 2002-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
 328
 329         * cookies.c (check_domain_match): Use match_tail in case
 330         insensitive mode.
 331
 332         * utils.c (match_tail): Allow the caller to specify case
 333         insensitive mode.
 334
 335         * cookies.c (store_cookie): When expiry_time is 0, print it as
 336         undefined, not indefinite.
 337
 338 2002-05-07  Ian Abbott  <abbotti@mev.co.uk>
 339
 340         * cookies.c (cookie_jar_process_set_cookie): Do not store
 341         discarded cookie.
 342
 343 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
 344
 345         * cookies.c (check_domain_match): Allow cookies to be set for
 346         subdomains of unknown top-level domains under some circumstances.
 347
 348 2002-04-21  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
 349
 350         * gen_ssl.c:
 351         - allow checking of server cert
 352         - allow defining client cert type
 353         - allow limit of ssl protocol
 354         - check more return values
 355         - added debug message on break
 356
 357 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
 358
 359         * recur.c (download_child_p): Revert order of items in check
 360         number 6 for clarity.
 361
 362 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
 363
 364         * init.c: Ditto.
 365
 366         * main.c: Ditto.
 367
 368         * http.c: Use the new interface.
 369
 370         * cookies.c: Provide an OO-style "cookie jar" interface to enable
 371         separate cookie jars.
 372
 373         * http.c (http_atotm): Declare argument as const.
 374
 375 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
 376
 377         * cookies.c (cookie_new): Default to PORT_ANY.
 378         (find_cookie_chain_exact): Only search by DOMAIN.
 379         (find_matching_cookie): Also check that PORT matches.
 380         (store_cookie): Only match the domain.
 381         (set_cookie_header_cb): When a cookie "fakes" a domain, assume it
 382         is valid for that host rather than discarding it completely.
 383         (find_matching_chains): Don't search by PORT.
 384         (matching_cookie): Also match PORT.
 385         (load_cookies): Set the port if specified, otherwise leave it as
 386         ANY.
 387         (save_cookies_mapper): Save the port if specified, otherwise leave
 388         it empty.
 389
 390 2002-04-19  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
 391
 392         * init.c: The option `egdfile' was not in sort order.
 393
 394 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
 395
 396         * ftp.c (getftp): Treat directories that begin with <letter>: as
 397         absolute.
 398         (getftp): Strip trailing slashes from con->id before merging it
 399         with TARGET.
 400
 401 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
 402
 403         * http.c (gethttp): If Content-Type is not given, assume
 404         text/html.
 405
 406 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
 407
 408         * recur.c (download_child_p): Don't ignore rejection of HTML
 409         documents that are themselves leaves of recursion.
 410
 411 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
 412
 413         Makefile.in: Updated several dependencies for object files to take
 414         account of nested include files.
 415
 416 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
 417
 418         Makefile.in: The target `connect$o' (connect.o) now depends on
 419         `utils.h'
 420
 421 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
 422
 423         * host.c (SET_H_ERRNO): New function-like macro to set `h_errno'.
 424         (gethostbyname_with_timeout): Use it.
 425
 426         * utils.c: Don't define `SETJMP()', `run_with_timeout_env' or
 427         `abort_run_with_timeout()' when `USE_SIGNAL_TIMEOUT' is undefined.
 428
 429 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
 430
 431         * host.c (getaddrinfo_with_timeout): New function.
 432         (gethostbyname_with_timeout): Ditto.
 433         (lookup_host): Use them.
 434
 435 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
 436
 437         * utils.c (number_to_string): Handle the case when n < -INT_MAX.
 438
 439 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
 440
 441         * init.c (comind): Use a marginally faster implementation of
 442         binary search.  To quote Martin Buchholz, "a nanosecond saved is a
 443         nanosecond earned."
 444
 445 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
 446
 447         * main.c (print_help): Document `--post-data' and `--post-file'.
 448
 449 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
 450
 451         * http.c (gethttp): Ditto.
 452
 453         * retr.c (retrieve_url): Initialize variables to appease the
 454         compiler.
 455
 456         * gen_sslfunc.c (ssl_iread): Don't handle EINTR when calling
 457         select_fd.
 458         (ssl_iwrite): Ditto.
 459
 460         * connect.c (select_fd): Rewrite to handle EINTR.  Set errno to
 461         ETIMEDOUT in case of timeout.
 462         (iread): No need to handle EINTR when calling select_fd.
 463         (iwrite): Ditto.
 464
 465 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
 466
 467         * retr.c (retrieve_url): Make sure that POST is not honored for
 468         redirections.
 469
 470         * http.c (gethttp): Send the POST data when requested.
 471         (post_file): New function.
 472         (gethttp): Use it.
 473
 474         * main.c (main): Ditto.
 475
 476         * init.c: Add new options.
 477
 478         * options.h (struct options): New options post_data and
 479         post_file_name.
 480
 481 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
 482
 483         * connect.c (connect_with_timeout): Firing SIGALRM can result in
 484         connect() exiting with EINTR.  Treat EINTR the same as ETIMEDOUT.
 485
 486 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
 487
 488         * connect.c (connect_with_timeout): Use it.
 489
 490         * utils.c (run_with_timeout): New function.
 491
 492 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
 493
 494         * url.c (getproxy): Accept a struct url argument.  This obviates
 495         the need for USE_PROXY_P.
 496
 497         * retr.c (retrieve_url): Allow proxy to be a non-FTP URL.
 498
 499         * ftp.c (getftp): Recognize FWTK-style proxy.
 500
 501 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
 502
 503         * config.h.in: Only define _VA_LIST when compiled with gcc.
 504
 505 2002-04012  Ian Abbott  <abbotti@mev.co.uk>
 506
 507         * http.c (http_loop): Compensate for MS Windows two-second
 508         granularity of file modification time when comparing timestamps.
 509
 510         * ftp.c (ftp_retrieve_list): Ditto.
 511
 512 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
 513
 514         * utils.c (has_html_suffix_p): New function to test filename for
 515         common html extensions.
 516
 517         * utils.h: Declare it.
 518
 519         * http.c (http_loop): Use it instead of previous test.
 520
 521         * retr.c (retrieve_url): Ditto.
 522
 523         * recur.c (download_child_p): Ditto.
 524
 525 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
 526
 527         * config.h.in: Define _VA_LIST on Solaris to prevent stdio.h from
 528         declaring va_list.
 529         From Kevin Rodgers <kevinr@ihs.com>.
 530
 531 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
 532
 533         * Makefile.in: Specify libtool mode explicitly when linking.
 534
 535 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
 536
 537         * connect.c (connect_with_timeout): New function.
 538         (connect_to_one): Use it.
 539
 540         * config.h.in: Add stubs for HAVE_SIGSETJMP, HAVE_SIGBLOCK, and
 541         HAVE_SETJMP_H.
 542
 543 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
 544
 545         * log.c: Set WGET_USE_STDARG if __STDC__ is defined and stdarg.h
 546         is present.
 547
 548 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
 549
 550         * progress.c (bar_create): If INITIAL is larger than TOTAL, fix
 551         TOTAL.
 552         (bar_finish): Likewise.
 553
 554 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
 555
 556         * html-url.c (tag_handle_form): New function.  Pick up form
 557         actions and mark them for conversion only.
 558
 559 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
 560
 561         * progress.c (struct progress_implementation): Use PARAMS when
 562         declaring the parameters of *create, *update, *finish, and
 563         *set_params.
 564
 565         * netrc.c: Ditto.
 566
 567         * http.c: Reformat some function definitions so that ansi2knr can
 568         read them.
 569
 570         * hash.c (struct hash_table): Use the PARAMS macro around
 571         parameters in the declaration of hash_function and test_function.
 572         (prime_size): Spell 2580823717UL and 3355070839UL as (unsigned
 573         long)0x99d43ea5 and (unsigned long)0xc7fa5177 respectively, so
 574         that pre-ANSI compilers can read them.
 575         (find_mapping): Use PARAMS when declaring EQUALS.
 576         (hash_table_put): Ditto.
 577
 578         * ftp.h: Wrap the parameters of ftp_index declaration in PARAMS.
 579
 580         * cookies.c (cookie_new): Use (unsigned long)0 instead of 0UL,
 581         which was unsupported by pre-ANSI compilers.
 582
 583         From Nelson H. F. Beebe <beebe@math.utah.edu>, for the most part.
 584
 585 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
 586
 587         * url.c (url_filename): Use compose_file_name regardless of
 588         whether opt.dirstruct is set.
 589         (mkstruct): Don't handle the query and the reencoding of DIR; that
 590         is done in compose_file_name.
 591
 592 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
 593
 594         * wget.h: Ditto for extern char *exec_name.
 595
 596         * options.h: Don't guard against OPTIONS_DEFINED_HERE -- it is
 597         perfectly legal to follow an `extern' with a non-`extern' ones,
 598         provided the types match.
 599
 600         * main.c: Don't define OPTIONS_DEFINED_HERE.
 601
 602 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
 603
 604         * progress.c (create_image): Revert to calculating ETA based on
 605         average download speed.
 606         (create_image): Don't print ETA until the download has been active
 607         for at least 3 seconds.
 608         (create_image): When ETA is not available, don't print anything.
 609         The previous version would print --:--.
 610
 611 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
 612
 613         * progress.c (bar_update): Keep updating a subinterval until it
 614         reaches or exceeds a watermark.  That way the measurement will be
 615         guaranteed to span a configurable minimum of time.  The current
 616         default is 3s in 30 100ms intervals.
 617
 618 2002-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
 619
 620         * progress.c (bar_update): Maintain an array of the time it took
 621         to perform previous 30 network reads.
 622         (create_image): Calculate the download speed and ETA based on the
 623         last 30 reads, not the entire download.
 624         (create_image): Make sure that the ETA is not changed more than
 625         once per second.
 626
 627 2002-04-09  Ian Abbott  <abbotti@mev.co.uk>
 628
 629         * mswindows.c (borland_utime): New function conditionally defined
 630         when `HACK_BCC_UTIME_BUG' is defined.  A reimplementation of
 631         `utime()' as Borland's `utime()' function is broken on Windows 9x
 632         systems.  (Original patch by Chin-yuan Kuo <sr1111111@yahoo.com.tw>.)
 633
 634 2002-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
 635
 636         * ftp.c (ftp_loop): Propagate the result of ftp_retrieve_glob.
 637
 638 2002-03-26  Ian Abbott  <abbotti@mev.co.uk>
 639
 640         * Makefile.in: Updated several dependencies for object files.
 641
 642 2002-03-20  Ian Abbott  <abbotti@mev.co.uk>
 643
 644         * mswindows.c: Include "utils.h".
 645
 646 2002-03-18  Ian Abbott  <abbotti@mev.co.uk>
 647
 648         * host.h: Don't include netdb.h on windows.
 649
 650 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
 651
 652         * recur.c (retrieve_tree): Handle the case when start_url doesn't
 653         parse.
 654
 655 2002-02-19  Andreas Damm  <andreas-sourceforge@radab.org>
 656
 657         * wget.h (DO_REALLOC_FROM_ALLOCA): Multiply with sizeof(type) when
 658         calling xmalloc and memcpy.
 659
 660 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
 661
 662         * host.h: Include Unix-specific includes #ifndef WINDOWS.
 663         Patch originally provided by Christian Lackas.
 664
 665 2002-02-11  Christian Lackas  <delta@lackas.net>
 666
 667         * recur.c: recurive downloading for https fixed.
 668
 669 2002-02-19  Alan Eldridge  <alane@geeksrus.net>
 670
 671         * host.h: Also include <netinet/in.h> and <sys/socket.h>.
 672
 673         * ftp-basic.c: Also include <netinet/in.h>.
 674
 675 2002-02-05  Ian Abbott  <abbotti@mev.co.uk>
 676
 677         * http.c (gethttp): when -c used, mark already fully retrieved
 678         file as successfully retrieved.
 679
 680 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
 681
 682         * url.c (url_parse): Don't treat '?' as query string separator
 683         when parsing FTP URLs.
 684
 685 2002-02-01  Hrvoje Niksic  <hniksic@arsdigita.com>
 686
 687         * html-url.c (tag_handle_meta): Don't crash on <meta
 688         http-equiv=refresh> where content is missing.
 689
 690 2002-01-31  Herold Heiko  <Heiko.Herold@previnet.it>
 691
 692         * ftp-basic.c, host.c: don't include sys/socket.h, arpa/inet.h,
 693         netdb.h on windows.
 694
 695 2002-01-30  Hrvoje Niksic  <hniksic@arsdigita.com>
 696
 697         * retr.c (retrieve_url): Remove redirection cycle detection.  This
 698         is because some sites legitimately redirect the user back to the
 699         same location, e.g. after an authorization check performed by
 700         another page.  MAX_REDIRECTIONS is still used to prevent infinite
 701         redirection loops.
 702
 703 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
 704
 705         * http.c (gethttp): Wrap host name in square brackets if it
 706         contains a colon.
 707
 708 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
 709
 710         * url.c (url_parse): Allow all hex digits, not only decimal ones,
 711         to form an IP address.
 712
 713 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
 714
 715         * url.c (urlchr_table): Make square braces reserved, so we can
 716         parse http://[::1]/.
 717         (url_parse): Handle host in braces.
 718         (url_string): If url->host contains colons, wrap it in braces.
 719
 720 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
 721
 722         * connect.c (resolve_bind_address): New function.
 723         (connect_to_one): Use it.
 724         (bindport): Ditto.
 725
 726         * init.c: Don't resolve bind-address here.
 727
 728         * host.c (wget_sockaddr_set_address): Would bug out with ADDR == NULL.
 729
 730 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
 731
 732         * host.c (lookup_host): Use sizeof(ip4_address) to calculate the
 733         offset.
 734         (address_list_new): Use map_ipv4_to_ip.
 735         (wget_sockaddr_set_address): Convert ADDR to IPv4 before using it
 736         in IPv4 context.
 737
 738 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
 739
 740         * source: Integrated IPv6 support.
 741         Written by Thomas Lussnig <thomas.lussnig@bewegungsmelder.de>.
 742
 743 2002-01-15  Ian Abbott  <abbotti@mev.co.uk>
 744
 745         * init.c (cmd_file): Change `\' to `/' for Windows (yes, really!)
 746         (cmd_directory): New function. Like cmd_file(), but strips
 747         trailing directory separators.
 748         (commands): Change action for "dirprefix" from `cmd_file' to
 749         `cmd_directory'.
 750
 751         * utils.c (make_directory): Allow intermediate `mkdir' calls to
 752         fail, as not all path components that do not exist should be
 753         directory components, especially under Windows.
 754
 755 2002-01-17  Hrvoje Niksic  <hniksic@arsdigita.com>
 756
 757         * netrc.c (parse_netrc): Skip leading whitespace before testing
 758         whether the line is empty.  Empty lines still contain the line
 759         terminator.
 760
 761 2002-01-15  Hrvoje Niksic  <hniksic@arsdigita.com>
 762
 763         * gen_sslfunc.c (ssl_iread): Call select on the file descriptor
 764         only if no data is pending in SSL buffers.
 765         From tony@bluetail.com.
 766
 767 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
 768
 769         * headers.c (header_get): Strip trailing whitespace from the
 770         header.
 771
 772 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
 773
 774         * url.c (parse_uname): URL-decode *USER and *PASSWD.
 775
 776 2002-01-07  Ian Abbott <abbotti@mev.co.uk>
 777
 778         * url.c (uri_merge_1): Deal with "net path" relative URL (one that
 779         starts with "//").
 780
 781 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
 782
 783         * http.c (gethttp): Invalidate SOCK if get_contents encountered an
 784         error.
 785
 786 2001-12-24  Hrvoje Niksic  <hniksic@arsdigita.com>
 787
 788         * version.c: Wget 1.8.1 is released.
 789
 790 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
 791
 792         * version.c: Wget 1.8.1-pre3 is released.
 793
 794 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
 795
 796         * recur.c (retrieve_tree): Enqueue the canonical representation of
 797         start_url, so that the test against dl_url_file_map works.
 798
 799 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
 800
 801         * log.c (logputs): Check for requested verbosity before printing
 802         anything.
 803
 804 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
 805
 806         * html-url.c (tag_handle_link): Treat the "shortcut icon" link as
 807         inline.
 808
 809 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
 810
 811         * recur.c (retrieve_tree): Make a copy of file obtained from
 812         dl_url_file_map because the code calls xfree(file) later.
 813
 814 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
 815
 816         * recur.c (register_html): Maintain a hash table of HTML files
 817         along with the list.  Disallow duplicates.
 818         (retrieve_tree): Use downloaded_html_set to check whether the file
 819         found in dl_url_file_map is an HTML file, and descend into it if
 820         so.
 821         (convert_all_links): Don't guard against duplicates in
 822         downloaded_html_list, since they are no longer possible.
 823
 824 2001-12-18  Ian Abbott  <abbotti@mev.co.uk>
 825
 826         * recur.c (retrieve_tree): Pass on referring URL when retrieving
 827         recursed URL.
 828
 829 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
 830
 831         * version.c: Wget 1.8.1-pre2 is released.
 832
 833 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
 834
 835         * retr.c (sleep_between_retrievals): Simplify indentation.
 836
 837 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
 838
 839         * gen_sslfunc.c (ssl_init_prng): Use random_number to get a byte
 840         of "randomness" at a time.
 841         (ssl_init_prng): Don't seed the PRNG; random_number will do that.
 842
 843         * retr.c (sleep_between_retrievals): Use it.  Make sure that the
 844         random amount averages in opt.wait.
 845         (sleep_between_retrievals): Don't seed the PRNG; random_number
 846         will do that.
 847
 848         * utils.c (random_number): New function.
 849
 850 2001-12-14  Hrvoje Niksic  <hniksic@arsdigita.com>
 851
 852         * url.c (path_simplify): Move here from utils.c, and make static.
 853
 854 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
 855
 856         * init.c (wgetrc_file_name): Print correct message when loading
 857         getenv("WGETRC") fails.
 858
 859 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
 860
 861         * recur.c (register_download): Don't abort when one URL references
 862         two different files.
 863
 864 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
 865
 866         * http.c (gethttp): Check for conn->scheme, not u->scheme, before
 867         calling ssl_iwrite.
 868
 869 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
 870
 871         * version.c: Wget 1.8.1-pre1 is released.
 872
 873 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
 874
 875         * res.c (matches): Fix broken URL in the docstring.
 876
 877 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
 878
 879         * html-url.c (tag_url_attributes): Mark <embed href=...> as
 880         external.
 881
 882 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
 883
 884         * url.c (get_urls_file): Cosmetic changes.
 885
 886 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
 887
 888         * html-url.c (append_one_url): Resurrect warning when unable to
 889         resolve a relative link.
 890
 891 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
 892
 893         * html-url.c (collect_tags_mapper): Break into several functions.
 894         (tag_url_attributes): Collect <embed href=...>.
 895
 896 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
 897
 898         * host.c: New type ipv4_address.  Use it consistently instead of
 899         `unsigned char[4]' and `unsigned char *'.
 900         (pretty_print_address): Accept a `const void *', to require even
 901         less casting.
 902
 903 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
 904
 905         * ftp-ls.c (ftp_parse_vms_ls): Fix obvious memory leaks.
 906
 907 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
 908
 909         * main.c (main): Initialize progress after fork_to_background, so
 910         that it knows when to use dots.
 911
 912         * mswindows.c (ws_hangup): Call log_request_redirect_output.
 913
 914         * utils.c (fork_to_background): Print the PID of the child
 915         process.
 916
 917         * log.c (log_request_redirect_output): Set a flag that output
 918         redirection has been requested.  Doing anything else in a signal
 919         handler is unsafe.
 920         (check_redirect_output): New function: check whether redirection
 921         has been requested and, if so, call redirect_output().
 922         (logputs): Call check_redirect_output.
 923         (logprintf): Ditto.
 924         (debug_logprintf): Ditto.
 925         (redirect_output): Print clearer messages.
 926
 927         * main.c (redirect_output_signal): Don't call
 928         redirect_output_signal directly.  Instead, call
 929         log_request_redirect_output.
 930
 931         * utils.c (memfatal): Ditto.
 932
 933         * progress.c (display_image): Use it.
 934
 935         * log.c (log_set_save_context): New function: allow the caller to
 936         turn off saving log context lines.
 937
 938 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
 939
 940         * host.c (address_list_set_faulty): Uncomment a sanity check.
 941
 942 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
 943
 944         * utils.c (long_to_string): Return a pointer after where the
 945         number ends.
 946         (long_to_string): Rename to number_to_string.
 947
 948 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
 949
 950         * utils.c (path_simplify): Correctly handle the unlikely case that
 951         b starts out as path + 1.
 952
 953 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
 954
 955         * utils.c (path_simplify): Rewrite, with better comments, and
 956         without the use of strcpy to move overlapping blocks.
 957
 958 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
 959
 960         * init.c (cmd_spec_progress): Resurrect.  Check whether VAL is a
 961         valid progress type before setting it.
 962
 963 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
 964
 965         * main.c (main): Remove stray debugging message.
 966
 967 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
 968
 969         * progress.c (create_image): Fix ETA padding when hours are prined.
 970
 971 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
 972
 973         * version.c: Wget 1.8 is released.
 974
 975 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
 976
 977         * url.c (reencode_string): Declare static.
 978
 979         * res.c (registered_specs): Declare static.
 980
 981         * progress.c (current_impl_locked): Declare static.
 982
 983         * log.c (flush_log_p): Declare static.
 984         (needs_flushing): Ditto.
 985
 986         * http.c (digest_authentication_encode): Declare static.
 987
 988         * html-url.c (init_interesting): Declare static.
 989
 990         * host.c (host_name_addresses_map): Declare static.
 991
 992         * cookies.c (find_matching_chains): Declare static.
 993
 994         * ftp-ls.c (ftp_parse_vms_ls): Warn about the memory leak
 995         indicated by lint.
 996
 997         * utils.c (path_simplify): Remove unused variable STUB_CHAR.
 998
 999         * host.c (address_list_set_faulty): Document that INDEX is
1000         currently unused.
1001
1002         * url.c (rewrite_shorthand_url): Remove unused variable PATH.
1003
1004 2001-12-08  Hrvoje Niksic  <hniksic@arsdigita.com>
1005
1006         * version.c: Wget 1.8-pre2 is released.
1007
1008 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1009
1010         * progress.c (progress_handle_sigwinch): Set up the signal again.
1011
1012         * utils.c: Include <sys/termios.h>, where Solaris defines
1013         TIOCGWINSZ.
1014
1015         * progress.c (bar_create): Don't use the last column on the screen.
1016         (create_image): Pad ETA to constant size.  Pad SIZE to nine digits
1017         only until it exceeded them.
1018
1019 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1020
1021         * version.c: Wget 1.8-pre1 is released.
1022
1023 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1024
1025         * progress.c (progress_create): Make sure that, when the output is
1026         redirected, the progress implementation gets changed to the
1027         fallback one.
1028         (bar_set_params): Set current_impl_locked to 1 when "force" is
1029         specified.
1030         (progress_create): Don't change the progress implementation if
1031         current_impl_locked is non-zero.
1032
1033         * main.c (redirect_output_signal): Call
1034         progress_schedule_redirect.
1035
1036         * progress.c (progress_schedule_redirect): New function.
1037
1038 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1039
1040         * log.c (logvprintf): Restructure to allow being called multiple
1041         times.
1042         (logprintf): Call logvprintf in a loop.
1043         (debug_logprintf): Ditto.
1044
1045 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1046
1047         * gen_sslfunc.c (ssl_init_prng): Allow the user to disable EGD by
1048         setting egd_file it to empty string.
1049
1050         * main.c (main): Change the option name from --sslegdsock to
1051         --egd-file.
1052
1053 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1054
1055         * gen_sslfunc.c (ssl_init_prng): Make the printed message
1056         translatable.
1057
1058 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1059
1060         * url.c (scheme_disable): New function.
1061
1062         * main.c (main): Call ssl_init_prng from here rather than from
1063         init_ssl, so that it has a chance to disable support for https
1064         before a URL has been resolved.
1065
1066         * gen_sslfunc.c (ssl_init_prng): Seed with rand() if all else
1067         failed.
1068         (ssl_init_prng): Disable support for https if seeding the PRNG
1069         fails.
1070
1071 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1072
1073         * utils.c (read_whole_line): Handle lines beginning with \0.
1074
1075 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
1076
1077         * recur.c (convert_all_links): Guard against duplicates in
1078         downloaded_html_files.
1079         (register_download): Don't invalidate similar-looking URLs.
1080         (match_except_index): New function.
1081
1082 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
1083
1084         * utils.c (path_simplify): Document with test cases.
1085
1086 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
1087
1088         * gen_sslfunc.c: Ditto.
1089
1090         * rbuf.c: Include <string.h>.
1091
1092 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
1093
1094         * recur.c (retrieve_tree): Check whether the URL was already
1095         downloaded before downloading it again.
1096         (descend_child_p): Renamed to download_child_p.
1097         (register_download): When one URL is downloaded to a file already
1098         "owned" by another URL, delete all references that map any URL to
1099         that file.
1100         (register_delete_file): New function.
1101         (retrieve_tree): Use it after deleting a file.
1102
1103         * url.c (url_parse): Re-canonicalize the URL also if the path is
1104         empty, so that e.g. "http://www.server.com" ->
1105         "http://www.server.com/".
1106         (lowercase_str): Use ISUPPER instead of !ISLOWER.
1107
1108         * retr.c (retrieve_url): Use the canonical URL form when calling
1109         register_download().
1110
1111 2001-12-04  Ian Abbott <abbotti@mev.co.uk>
1112
1113         * snprintf.c (dopr): Use `unsigned int' as the second argument to
1114         va_arg when casting to `unsigned short' is intended.
1115
1116 2001-12-04  Herold Heiko  <Heiko.Herold@previnet.it>
1117
1118         * gen_sslfunc.c: on windows provide ssl crypto random
1119           initialization through RAND_screen(); could possibly
1120           be not enough for strong ssl communication (see the
1121           relevant manual page from the openssl package).
1122
1123 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
1124
1125         * url.c (local_quote_string): Reenable quoting of question marks,
1126         but only when `--html-extension' is used.
1127
1128 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
1129
1130         * version.c: Wget 1.8-beta3 is released.
1131
1132 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
1133
1134         * snprintf.c (dopr): Cast the result of va_arg to short int and
1135         short unsigned int where these types are expected to be used.
1136
1137 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
1138
1139         * snprintf.c (dopr): Replace `short int' and `unsigned short int'
1140         with `int' when using it as the second argument to `va_arg'.
1141
1142 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
1143
1144         * host.c (address_list_new_one): New function.
1145         (lookup_host): Use it.
1146
1147 2001-12-03  Andre Majorel  <amajorel@teaser.fr>
1148
1149         * host.c (lookup_host): Don't initialize TMPSTORE directly because
1150         it's not legal C.
1151
1152 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
1153
1154         * ftp-basic.c (ftp_port): Don't return HOSTERR if we fail getting
1155         the socket data.
1156
1157         * ftp.c: Ditto.
1158
1159         * http.c: No need to declare h_errno.
1160
1161         * host.c: Declare h_errno.
1162
1163 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
1164
1165         * utils.c (file_merge): If BASE doesn't contain a slash, just
1166         return a copy of FILE.
1167
1168 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
1169
1170         * version.c: Wget 1.8-beta2 is released.
1171
1172 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1173
1174         * ftp.c (getftp): When PWD fails, assume "/".
1175
1176         * ftp-basic.c (ftp_syst): Fix indentation.
1177
1178 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1179
1180         * url.c (get_urls_file): If opt.base_href is specified, merge each
1181         URL with the base.
1182
1183 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1184
1185         * main.c (print_help): Don't document the removed `-nh'.
1186
1187 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1188
1189         * url.c (url_full_path): Document better.
1190
1191         * http.c (gethttp): Use the full path when creating digest
1192         authorization.
1193
1194 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1195
1196         * cookies.c (path_matches): Return 0 if PREFIX doesn't begin with
1197         '/'.
1198
1199 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1200
1201         * cookies.c (path_matches): FULL_PATH doesn't begin with '/', but
1202         PREFIX does.
1203
1204 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1205
1206         * cookies.c (check_domain_match): Reimplement to match Netscape's
1207         "preliminary specification" for cookies.
1208
1209 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1210
1211         * url.c (replace_attr_refresh_hack): New function.
1212         (convert_links): Call replace_attr_refresh_hack for Refresh
1213         links.  It will add the "TMOUT; URL=" junk before the link.
1214
1215         * html-url.c (collect_tags_mapper): Set ID to the ID of the
1216         "content" attribute, not "http-equiv".
1217         (collect_tags_mapper): Don't use OFFSET to hack the raw_* values;
1218         instead, store the information that this entry belongs to a
1219         "refresh" link.
1220
1221 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1222
1223         * version.c: Wget 1.8-beta1 is released.
1224
1225 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1226
1227         * recur.c (retrieve_tree): Allow -p retrievals to exceed maximum
1228         depth by more than one.
1229
1230 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
1231
1232         * retr.c (retrieve_url): Don't allow more than 20 redirections.
1233
1234 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
1235
1236         * recur.c (retrieve_tree): Skip the non-inline entries when
1237         enqueuing the children of a leaf HTML node in -p mode.
1238         (descend_url_p): Ignore opt.no_parent when in -p mode and UPOS is
1239         "inline".
1240
1241         * html-url.c (get_urls_html): Don't accept dash_p_leaf_HTML.
1242         (collect_tags_mapper): When an entry is "inline", mark it as such.
1243
1244         * recur.c (descend_url_p): Fix test when checking for
1245         acceptance/rejection rules.
1246
1247 2001-10-31 Daniel BODEA <dali@dali-designs.com>
1248
1249         * netrc.c (search_netrc): When slack_default is 0, still look for
1250         an account with matching password, just not the "default account".
1251         HTTP Authorization using .netrc should now work as expected.
1252
1253 2001-11-30  T. Bharath  <TBharath@responsenetworks.com>
1254
1255         * http.c (persistent_available_p): Call SHUTDOWN_SSL if
1256         test_socket_open fails.
1257
1258 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
1259
1260         * progress.c (display_image): Just print one CR to reset the
1261         cursor position.
1262
1263 2001-11-30  Christian Fraenkel  <c.fraenkel@gmx.net>
1264
1265         * init.c: New command `ssl_egd_sock'.
1266
1267         * main.c (main): New option `--sslegdsock'.
1268
1269         * gen_sslfunc.c (ssl_init_prng): Seed the RNG using EGD.
1270
1271 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1272
1273         * cmpt.c (memmove): Include a simple memmove implementation.
1274
1275 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1276
1277         * headers: Guard against header files being included twice.
1278
1279 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1280
1281         * gen-md5.c: Use unsigned char * as the buffer argument to
1282         gen_md5_update.
1283
1284 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1285
1286         * connect.h: Declare select_fd.
1287
1288 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1289
1290         * recur.c (descend_url_p): When resolving no_parent, compare with
1291         start_url, not parent url.  Otherwise link from /a/b/ to /a/c/
1292         wouldn't be followed, although the download started from /a/.
1293
1294 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
1295
1296         * config.h.ms, mswindows.h: defined HAVE_ISATTY, use _isatty for
1297         MS VC; somebody with Borland compiler please check and provide
1298         patch if possible;
1299
1300         * cmpt.c: provided a usleep emulation.
1301
1302 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1303
1304         * host.c (address_list_new): Initialize al->faulty.
1305
1306 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1307
1308         * http.c (http_process_range): Accept the broken output of
1309         "JavaWebServer/1.1.1".
1310
1311 2001-11-28  Hrvoje Niksic  <hniksic@arsdigita.com>
1312
1313         * progress.c (dot_set_params): If PARAMS is unspecified, use
1314         dot_style, if available.
1315
1316         * init.c: Ditto.
1317
1318         * main.c (main): Resurect --dot-style.
1319
1320         * progress.c (dot_finish): Print the quantity if we're left at the
1321         beginning of a row.
1322
1323 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1324
1325         * cmpt.c (random): Removed.
1326
1327         * retr.c (sleep_between_retrievals): Use the more portable rand()
1328         instead of random().
1329
1330 2001-11-27  Ian Abbott <abbotti@mev.co.uk>
1331
1332         * retr.c (retrieve_from_file): Initialize `new_file' to NULL to
1333         prevent seg fault.
1334
1335 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1336
1337         * connect.c (connect_to_many): Use address_list_set_faulty to
1338         prevent the faulty address from being reused.
1339
1340         * host.c (address_list_set_faulty): New function.
1341         (address_list_get_bounds): New function, instead of
1342         address_list_count.
1343
1344 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1345
1346         * url.c (convert_links): Don't translate %d-%d.
1347
1348         * main.c (print_help): Remove stray HAVE_RANDOM code.
1349
1350 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1351
1352         * ftp.c (getftp): Improve output after sending PASV.  Don't
1353         attempt to "look up" the IP address we already know; call
1354         connect_to_one directly.
1355
1356 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1357
1358         * progress.c: Change the default progress implementation to "bar".
1359
1360 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1361
1362         * progress.c (bar_create): Print two newlines.
1363
1364 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1365
1366         * cmpt.c (random): New function, a simple-minded replacement for
1367         random() on systems that don't have it.
1368
1369 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1370
1371         * config.h.in: Put a HAVE_USLEEP stub.
1372
1373         * cmpt.c (usleep): Replacement implementation of usleep using
1374         select.
1375
1376         * init.c: New option init_rate.
1377
1378         * main.c (main): New option --limit-rate.
1379
1380         * retr.c (limit_bandwidth): New function.
1381         (get_contents): Call it to limit the bandwidth used when
1382         downloading.
1383
1384         * progress.c (dot_update): Would print the wrong download speed on
1385         rows other than the first one when the download was continued.
1386         (dot_finish): Ditto.
1387
1388 2001-11-26  Ian Abbott <abbotti@mev.co.uk>
1389
1390         * http.c (gethttp): fix undeclared variable 'err' when compiled
1391         with HAVE_SSL.
1392
1393 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1394
1395         * progress.c: Don't allocate new timers; use the timing data
1396         propagated from the caller.
1397
1398         * retr.c (get_contents): Allocate and use a timer.
1399
1400 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1401
1402         * http.c (last_host_ip): Made into an address_list.
1403         (invalidate_persistent): Release pc_last_host_ip.
1404         (register_persistent): Use lookup_host.
1405         (persistent_available_p): Check for equality of hosts using
1406         address_list_match_all.  Call address_list_release.
1407         (http_cleanup): New function.
1408
1409         * ftp.c (getftp): Use lookup_host and connect_to_many.
1410
1411         * http.c (gethttp): Use lookup_host and connect_to_many.
1412
1413         * connect.c (make_connection): Removed.
1414         (connect_to_one): New function.
1415         (connect_to_many): Ditto.
1416         (set_connection_host_name): Ditto.
1417
1418         * host.c (lookup_host): New function; new return type.
1419         (address_list_new): New function.
1420         (address_list_count): Ditto.
1421         (address_list_copy_one): Ditto.
1422         (address_list_delete): Ditto.
1423         (address_list_release): Ditto.
1424         (pretty_print_address): Ditto.
1425
1426 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1427
1428         * recur.c (retrieve_tree): In case of followed redirection,
1429         blacklist the pre-redirection URL.
1430
1431 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1432
1433         * recur.c (descend_redirect_p): New function.
1434         (retrieve_tree): Make sure redirections are not blindly followed.
1435
1436 2001-11-04  Alan Eldridge  <alane@geeksrus.net>
1437
1438         * config.h.in: added HAVE_RANDOM.
1439
1440         * options.h: added random_wait to struct options.
1441
1442         * main.c (print_help [HAVE_RANDOM], main): added arg parsing, help
1443         for --random-wait.
1444
1445         * retr.c (sleep_between_retrievals) [HAVE_RANDOM]: added
1446         implementation of random wait times.
1447
1448         * init.c (commands): added "randomwait" keyword.
1449
1450 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1451
1452         * recur.c (descend_url_p): Be more conservative with blacklisting
1453         URLs.
1454         (convert_all_links): Print how many files have been converted, and
1455         how long it took.
1456
1457         * progress.c (create_image): Place the number of downloaded bytes
1458         right after the progress bar.
1459
1460         * utils.c (suffix): Return a pointer into the string.
1461
1462 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1463
1464         * url.c (convert_links): Handle CO_NULLIFY_BASE.
1465
1466         * recur.c (retrieve_tree): Ignore download-ignorable children.
1467         (convert_all_links): Specify CO_NULLIFY_BASE when link_base_p.
1468
1469         * html-url.c (handle_link): Return the newly created urlpos.
1470         (collect_tags_mapper): When dealing with BASE, store the base
1471         reference and mark it as download-ignorable.
1472
1473 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1474
1475         * url.c (convert_links): Attempt to quote '?' as "%3F" when
1476         linking to local files.  Given up on the attempt, as it breaks
1477         local browsing.
1478
1479 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1480
1481         * main.c (private_initialize): Removed.
1482         (main): Don't call private_initialize.
1483
1484         * http.c: Call lookup_host.
1485
1486         * host.c (host_init): Removed.
1487         (add_host_to_cache): Initialize host_name_address_map here, on
1488         demand.
1489         (ngethostbyname): Commented out.
1490
1491         * connect.c (make_connection): Remove dead code; use lookup_host.
1492
1493         * host.c (store_hostaddress): Renamed to lookup_host and reversed
1494         the args.
1495         Removed host_address_name_map and host_slave_master_map.
1496
1497 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1498
1499         * progress.c (dot_create): Align the "[ skipping ... ]" string
1500         with the dots.
1501
1502         * retr.c (rate): Split into two functions: calc_rate and
1503         retr_rate.
1504
1505         * progress.c (create_image): Draw a dummy progress bar even when
1506         total size is unknown.
1507         (display_image): Place the text cursor at the end of the "image".
1508
1509 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1510
1511         * url.c (reencode_string): Use unsigned char, not char --
1512         otherwise the hex digits come out wrong for 8-bit chars such as
1513         nbsp.
1514         (lowercase_str): New function.
1515         (url_parse): Canonicalize u->url if needed.
1516         (get_urls_file): Parse each URL, and return only the valid ones.
1517         (free_urlpos): Call url_free.
1518         (mkstruct): Add :port if the port is non-standard.
1519         (mkstruct): Append the query string to the file name, if any.
1520         (urlpath_length): Use strpbrk_or_eos.
1521         (uri_merge_1): Handle the cases where LINK is an empty string,
1522         where LINK consists only of query, and where LINK consists only of
1523         fragment.
1524         (convert_links): Count and report both kinds of conversion.
1525         (downloaded_file): Use a hash table, not a list.
1526         (downloaded_files_free): Free the hash table.
1527
1528         * retr.c (retrieve_from_file): Ditto.
1529
1530         * main.c (main): Call either retrieve_url or retrieve_tree
1531         for each URL, not both.
1532
1533         * retr.c (register_all_redirections): New function.
1534         (register_redirections_mapper): Ditto.
1535         (retrieve_url): Register the redirections.
1536         (retrieve_url): Make the string "Error parsing proxy ..."
1537         translatable.
1538
1539         * res.c (add_path): Strip leading slash from robots.txt paths so
1540         that the path representations are "compatible".
1541         (free_specs): Free each individual path, too.
1542         (res_cleanup): New function.
1543         (cleanup_hash_table_mapper): Ditto.
1544
1545         * recur.c (url_queue_new): New function.
1546         (url_queue_delete): Ditto.
1547         (url_enqueue): Ditto.
1548         (url_dequeue): Ditto.
1549         (retrieve_tree): New function, replacement for recursive_retrieve.
1550         (descend_url_p): New function.
1551         (register_redirection): New function.
1552
1553         * progress.c (create_image): Cosmetic changes.
1554
1555         * init.c (cleanup): Do all those complex cleanups only if
1556         DEBUG_MALLOC is defined.
1557
1558         * main.c: Removed --simple-check and the corresponding
1559         simple_host_check in init.c.
1560
1561         * html-url.c (handle_link): Parse the URL here, and propagate the
1562         parsed URL to the caller, who would otherwise have to parse it
1563         again.
1564
1565         * host.c (xstrdup_lower): Moved to utils.c.
1566         (realhost): Removed.
1567         (same_host): Ditto.
1568
1569 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1570
1571         * utils.c (path_simplify): Preserver the (non-)existence of
1572         leading slash.  Return non-zero if changes were made.
1573
1574 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1575
1576         * progress.c (bar_update): Don't modify bp->total_length if it is
1577         zero.
1578
1579 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1580
1581         * retr.c (retrieve_url): When the redirection URL doesn't parse,
1582         print the correct error message rather than "UNKNOWN".
1583
1584 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1585
1586         * progress.c (bar_finish): If the timer didn't record any time
1587         since the download beginning, fake 1ms.
1588
1589 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1590
1591         * recur.c (recursive_retrieve): Fix typo.
1592
1593 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
1594
1595         * progress.c (create_image): Don't translate "%ld ".
1596
1597 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
1598
1599         * progress.c (bar_set_params): Allow the user to force the use of
1600         the bar.
1601
1602 2001-11-23  Lemble Gregory  <gregory.lemble@st.com>
1603
1604         * gen_sslfunc.c (ssl_init_prng): New function; seed the SSL RNG.
1605
1606 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
1607
1608         * progress.c: Renamed dp_* functions to dot_* for greater clarity
1609         and consistency with bar_*.
1610         (print_download_speed): Get rid of the unneeded '@' character.
1611         (create_image): Fix download rate geometry.
1612
1613         * progress.c (print_elapsed): Remove spurious space.
1614         (print_elapsed): Renamed to print_download_speed, since that's
1615         what it does.
1616
1617 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
1618
1619         * progress.c (bar_update): If the downloaded amount becomes larger
1620         than the expected amount, adjust the expected amount accordingly.
1621
1622 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
1623
1624         * utils.c (determine_screen_width): New function.
1625
1626         * main.c (main): New option `--progress=TYPE'.
1627         (main): Implement compatibility with the old option `--dot-style'.
1628
1629         * init.c: Removed cmd_spec_dotstyle -- that logic is now in
1630         dp_set_params.
1631         (cmd_spec_progress): New function.
1632
1633         * retr.c (get_contents): Use the progress_* functions instead of
1634         the old show_progress().
1635         (show_progress): Removed.
1636         (rate): Print "xxxx.xx K/s" instead of "KB/s".  Ditto for MB/s,
1637         etc.
1638
1639         * progress.c (set_progress_implementation): New function.
1640         (valid_progress_implementation_p): Ditto.
1641         (progress_create): Ditto.
1642         (progress_update): Ditto.
1643         (progress_finish): Ditto.
1644         (dp_create): Ditto.
1645         (dp_update): Ditto.
1646         (dp_finish): Ditto.
1647         (dp_set_params): Ditto.
1648         (print_elapsed): Ditto.
1649
1650 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
1651
1652         * retr.c (show_progress): Use it.
1653
1654         * log.c (log_set_flush): New function.
1655
1656 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
1657
1658         * utils.c (path_simplify): Don't remove trailing slashes.
1659
1660         * ftp.c (ftp_get_listing): Use it.
1661
1662         * utils.c (file_merge): New function.
1663
1664         * url.c (opt_url): Removed.
1665
1666         * recur.c (recursive_retrieve): Inline "opt_url" logic.
1667
1668         * main.c (main): Use xfree(), not free().
1669
1670         * url.c (rewrite_url_maybe): Renamed to rewrite_shorthand_url.
1671
1672         * ftp.c (ccon): Move `ccon' typedef here, since it's only used
1673         internally.
1674
1675         * config.h.in: Include a stub for HAVE_STRPBRK.
1676
1677         * cmpt.c (strpbrk): Include a replacement for systems without
1678         strpbrk().
1679
1680         * ftp.c: Use url_set_dir and url_set_file when modifying the URL.
1681
1682         * url.c (url_set_dir): New function.
1683         (url_set_file): Ditto.
1684
1685         * ftp-basic.c (ftp_process_type): Process FTP type here; the URL
1686         parser makes the URL "params" available, so we can do that in this
1687         function.
1688
1689         * retr.c: Ditto.
1690
1691         * ftp.c: Ditto; pass the local file information in `ccon'.
1692
1693         * http.c: Get rid of the ugly kludge that had URL being replaced
1694         with the proxy URL when proxy retrieval was requested.  Use a
1695         separate parameter to http_loop and gethttp for the proxy URL.
1696
1697         * http.c: Changed to reflect the fact that local file, proxy, and
1698         referer information are no longer stored in struct url.  The local
1699         file information is passed in `struct hstat' now.
1700
1701         * url.c: Reworked URL parsing to be more regular.  Reencode the
1702         URL using reencode_string.
1703         Removed non-URL-related information from struct url.  This
1704         includes fields `proxy', `local', and `referer'.
1705
1706 2001-11-22  Jochen Hein  <jochen@jochen.org>
1707
1708         * main.c (main): Split the copyright notice for easier
1709         translation.
1710
1711 2001-08-21  Dave Turner <dct25@hermes.cam.ac.uk>
1712
1713         * ftp-basic.c (ftp_size): New function to send non-standard SIZE
1714           command to server to request file size.
1715         * ftp.h (ftp_size): Export it.
1716         * ftp.c (getftp): Use new ftp_size function if restoring
1717           transfer of a file with unknown size.
1718
1719 2001-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
1720
1721         * url.c (parseurl): Don't depend on the now-obsolete TYPE.
1722
1723 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1724
1725         * url.c (getproxy): Handle URL shorthands.
1726
1727 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1728
1729         * main.c: Remove --wait / --waitretry backwards compatibility
1730         code.
1731
1732 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1733
1734         * main.c (main): Use it.
1735
1736         * url.c (rewrite_url_maybe): New function.
1737
1738 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1739
1740         * url.c: Clean up handling of URL schemes.
1741
1742 2001-05-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1743
1744         * url.c: Get rid of `protostrings'.
1745         (skip_proto): Don't use protostrings.
1746         (has_proto): Ditto.
1747
1748 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1749
1750         * Makefile.in: Conditionally compile getopt.o.
1751
1752 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1753
1754         * md5.h: Renamed to gnu-md5.h.
1755
1756         * md5.c: Renamed to gnu-md5.c.
1757
1758         * http.c: Ditto.
1759
1760         * ftp-opie.c: Use the new macros.
1761
1762         * sysdep.h: Define md5-related macros.
1763
1764         * config.h.in: Define HAVE_SOLARIS_MD5 or HAVE_BUILTIN_MD5
1765         depending on which md5 implementation is used.
1766
1767 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1768
1769         * res.c (res_register_specs): Initialize OLD and HP_OLD to appease
1770         the compiler.
1771
1772 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1773
1774         * http.c (gethttp): Print the whole response line when printing
1775         headers is requested.
1776
1777 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1778
1779         * res.c: New file.  Implement all RES-related code here.
1780
1781 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1782
1783         * version.c: Wget 1.7.1 is released.
1784
1785 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1786
1787         * headers.c (header_extract_number): Ignore trailing whitespace.
1788
1789 2001-08-24  Ian Abbott  <abbotti@mev.co.uk>
1790
1791         * html-url.c (collect_tags_mapper): Fix bug converting links
1792         with -k option for tags with multiple link attributes by
1793         handling links in the order they appear.
1794
1795 2001-08-15  Ian Abbott  <abbotti@mev.co.uk>
1796
1797         * ftp.c (ftp_loop_internal): Avoid a potential buffer overflow in
1798           the call to the 'rate' function by moving it past the error
1799           checking for the 'getftp' function return value.
1800
1801 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1802
1803         * html-parse.c (advance_declaration): Use 0x22 instead of '"' or
1804         '\"'.  Different compilers' assert macros are broken in different
1805         ways.
1806
1807 2001-09-29  Christian Fraenkel  <c.fraenkel@gmx.net>
1808
1809         * http.c (gethttp): print debug output for errors occuring during
1810         the ssl handshake.
1811
1812 2001-11-16  Chris Seawood  <cls@seawood.org>
1813
1814         * init.c: Ditto.
1815
1816         * host.c: Ditto.
1817
1818         * connect.c: Ditto.
1819
1820         * sysdep.h: Support compilation under BEOS.
1821
1822 2001-06-08  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
1823
1824         * url.c (url_equal): Fix a memory leak when parseurl returns an
1825         error on the second URL. Also, since url_equal is not used at the
1826         moment, do not compile it.
1827
1828         * url.h: Ditto for the prototype of url_equal.
1829
1830 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1831
1832         * html-parse.c (map_html_tags): Support XML-style empty tags.
1833
1834 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1835
1836         * wget.h (DO_REALLOC_FROM_ALLOCA): Check for do_realloc_newsize in
1837         loop condition because we're no longer setting SIZEVAR here.
1838
1839 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1840
1841         * wget.h (DO_REALLOC_FROM_ALLOCA): Set SIZEVAR after the memcpy()
1842         call because it needs the old value.
1843
1844 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1845
1846         * cookies.c (ATTR_NAME_CHAR): Allow almost any character to be in
1847         an attribute name.
1848
1849 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1850
1851         * url.c (url_filename): Make sure that slashes that sneak in to
1852         u->file via query string get protected.
1853         (file_name_protect_query_string): New function.
1854
1855 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1856
1857         * recur.c (recursive_retrieve): Also check undesirable_urls with
1858         canonicalized URL.
1859
1860 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1861
1862         * http.c (gethttp): Search `.netrc' with real host, not the proxy
1863         one.
1864
1865 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1866
1867         * sysdep.h (MAP_FAILED): Provide MAP_FAILED for systems that don't
1868         define it.
1869
1870 2001-06-09  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
1871
1872         * ftp.h: Provide correct prototype for ftp_parse_ls().
1873
1874 2001-06-04  Hrvoje Niksic  <hniksic@arsdigita.com>
1875
1876         * version.c: Wget 1.7 is released.
1877
1878 2001-06-03  Karl Eichwalder  <ke@suse.de>
1879
1880         * ftp-ls.c (ftp_parse_ls): Fix typo.
1881
1882 2001-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1883
1884         * all: Update copyright information.
1885
1886 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1887
1888         * http.c (gethttp): Indicate that the continued download failed
1889         for *this* file.
1890
1891 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1892
1893         * version.c: Wget 1.7-pre1 is released.
1894
1895 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1896
1897         * version.c: Updated version to 1.7-pre1.
1898
1899 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1900
1901         * gen_sslfunc.c: Don't include <sys/time.h> directly.
1902
1903 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1904
1905         * http.c (gethttp): Use real URL data for cookies, not the proxy
1906         stuff.
1907
1908 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1909
1910         * main.c (print_help): Document `--no-http-keep-alive'.
1911
1912         * utils.c (numdigit): Handle negative numbers *correctly*.
1913
1914         * hash.c (make_nocase_string_hash_table): Use term "nocase" rather
1915         than the confusing "unsigned".
1916
1917         * utils.c (string_set_contains): Renamed from string_set_exists.
1918
1919         * hash.c (hash_table_contains): Renamed from hash_table_exists.
1920
1921         * cookies.c: Move case-insensitive hash tables to hash.c.
1922
1923 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
1924
1925         * http.c (gethttp): Before concluding that the file is already
1926         fully retrieved, make sure that the file existed and `Range' was
1927         actually requested.
1928
1929 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
1930
1931         * cookies.c (eliminate_dups): New function.
1932         (build_cookies_request): Use it.
1933         (build_cookies_request): Set chain_store_size after reallocating
1934         all_chains.
1935         (check_domain_match): Annotated for easier future debugging.
1936         (store_cookie): In the debug message, print whether the cookie is
1937         permanent.
1938
1939 2001-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
1940
1941         * http.c (http_loop): Reset no_truncate before deciding whether to
1942         set it.
1943         (gethttp): Further clarify "-c conflicts with existing file" error
1944         message, based on input from Herold Heiko.
1945
1946 2001-05-07  Hrvoje Niksic  <hniksic@arsdigita.com>
1947
1948         * http.c (http_loop): If restval is set, set no_truncate to 1
1949         unconditionally.
1950
1951 2001-05-02  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
1952
1953         * ftp-ls.c (ftp_parse_winnt_ls): Assure months are being correctly
1954         converted. Pointed out by <Stefan.Weil@de.heidelberg.com>.
1955         (ftp_parse_vms_ls): Ditto.
1956
1957 2001-04-30  Hrvoje Niksic  <hniksic@arsdigita.com>
1958
1959         * init.c (cmd_address): Zero SIN before using it; apparently
1960         needed on *BSD.
1961
1962 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1963
1964         * ftp.c (ftp_loop_internal): Don't set NO_TRUNCATE if the file is
1965         empty.
1966
1967 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1968
1969         * main.c (main): Make `--cookies' respect its argument.
1970
1971 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
1972
1973         * main.c (main): Removed undocumented option `--email-address'.
1974
1975         * netrc.c: Use the latest read_whole_line.
1976
1977         * init.c (defaults): Set opt.ftp_pass to "-wget@".
1978
1979         * mswindows.c (pwd_cuserid): Ditto.
1980
1981         * utils.c (pwd_cuserid): Removed.
1982
1983         * host.c (ftp_getaddress): Removed.
1984
1985 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
1986
1987         (http_loop): Allocate space for filename_plus_orig_suffix with
1988         alloca; this is more efficient and removes the need to free it
1989         before each and every return.
1990
1991 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
1992
1993         * http.c (gethttp): Return RETRUNNEEDED when the retrieval is
1994         unneeded because the file is already there and fully downloaded,
1995         and -c is specified.
1996         (http_loop): Handle RETRUNNEEDED.
1997
1998         * wget.h (uerr_t): New value RETRUNNEEDED.
1999
2000         * http.c (http_loop): Set no_truncate for files that both exist
2001         and are non-empty.
2002         (gethttp): Consider the download finished when restval >= contlen,
2003         not only when restval==contlen.
2004         (gethttp): Handle redirection before giving up due to -c.
2005         (gethttp): Clarify error message which explains that -c will not
2006         truncate the file.
2007         (gethttp): When returning CONTNOTSUPPORTED, don't forget to free
2008         the stuff that needs freeing and release the socket.
2009
2010 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2011
2012         * main.c (print_help): Wget booleans accept "off", not "no".
2013
2014 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2015
2016         * http.c (http_loop): If allow_cache is zero, always disable
2017         caching, not only when retrieving through proxy.
2018
2019         * init.c: Ditto.
2020
2021         * options.h (struct options): Rename proxy_cache to allow_cache.
2022
2023 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2024
2025         * http.c (mktime_from_utc): Improve documentation.
2026         (http_atotm): Put format strings into a separate array.
2027
2028 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2029
2030         * safe-ctype.h: Instead of throwing #error when isalpha is
2031         defined, redefine it to something that will throw a compile-time
2032         error if actually *used*.  Do the same for the rest of the
2033         standard C macros.
2034
2035 2001-04-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2036
2037         * url.c (getproxy): Ignore empty proxy vars.
2038
2039 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2040
2041         * http.c (http_loop): Would load cookies every time.
2042
2043         * cookies.c (load_cookies): Handle cookies whose values contain
2044         embedded spaces.
2045
2046 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2047
2048         * utils.c: Define each DIGITS_* in one line.
2049
2050 2001-04-25  Roger L. Beeman  <beeman@cisco.com>
2051
2052         * http.c (http_atotm): Initialize t.tm_isdst to 0.
2053         (mktime_from_utc): Prevent mktime() from having discontinuities at
2054         DST transition points.
2055
2056 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2057
2058         * html-url.c (get_urls_html): Fix documentation.
2059
2060 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2061
2062         * url.c (UNSAFE_CHAR): Reimplement using a static table.
2063         (url_init): Removed.
2064         (init_unsafe_char_table): Removed.
2065
2066 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2067
2068         * snprintf.c (dopr): Replace ISDIGIT with '0' <= ch && ch <= '9'.
2069
2070 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2071
2072         * utils.c: Document timer functions.
2073
2074         * retr.c (rate): Use it.
2075         (rate): Print in GB/s if transfer rate exceeds 1 GB/s.
2076
2077         * utils.c (wtimer_granularity): New function.
2078
2079 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2080
2081         * retr.c (show_progress): Ditto.
2082
2083         * ftp.c (getftp): Ditto.
2084
2085         * http.c (gethttp): Use new timer functions.
2086
2087         * utils.c (wtimer_allocate): New function.
2088         (wtimer_new): Ditto.
2089         (wtimer_delete): Ditto.
2090         (wtimer_reset): Ditto.
2091         (wtimer_elapsed): Ditto.
2092
2093 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2094
2095         * utils.c (long_to_string): New, faster version.  Favors smaller
2096         numbers; much of the calculation is now done at compile-time.
2097
2098 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2099
2100         * utils.c (numdigit): Handle negative numbers.
2101
2102 2001-04-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2103
2104         * retr.c (show_progress): Print the download rate even when the
2105         percentages are not available.
2106
2107 2001-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2108
2109         * ftp.c (getftp): Adjust expected_bytes if the length is
2110         authoritative.
2111
2112 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2113
2114         * url.c: Don't declare `construct'.
2115
2116         * hash.c (grow_hash_table): Speed up rehashing; inline storing of
2117         mappings to new locations.
2118         (hash_table_new): Make resize_threshold a field in the hash table,
2119         so we don't have to recalculate it in each hash_table_put.
2120         (grow_hash_table): Update resize_threshold.
2121         (MAX): Remove unused macro.
2122         (prime_size): Made static.
2123
2124 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2125
2126         * retr.c (retrieve_url): Call uri_merge, not url_concat.
2127
2128         * html-url.c (collect_tags_mapper): Call uri_merge, not
2129         url_concat.
2130
2131         * url.c (mkstruct): Use encode_string instead of xstrdup followed
2132         by URL_CLEANSE.
2133         (path_simplify_with_kludge): Deleted.
2134         (contains_unsafe): Deleted.
2135         (construct): Renamed to uri_merge_1.
2136         (url_concat): Renamed to uri_merge.
2137
2138 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2139
2140         * url.c (str_url): Use encode_string instead of the unnecessary
2141         CLEANDUP.
2142         (encode_string_maybe): New function, returns input string if no
2143         encoding is needed.
2144         (encode_string): Call encode_string_maybe to do the dirty work,
2145         xstrdup if no work needed.
2146
2147 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2148
2149         * wget.h (XDIGIT_TO_xchar): Define here.
2150
2151         * url.c (decode_string): Use new name.
2152         (encode_string): Ditto.
2153
2154         * http.c (XDIGIT_TO_xchar): Rename HEXD2asc to XDIGIT_TO_xchar.
2155         (dump_hash): Use new name.
2156
2157         * wget.h: Rename ASC2HEXD and HEXD2ASC to XCHAR_TO_XDIGIT and
2158         XDIGIT_TO_XCHAR respectively.
2159
2160 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2161
2162         * init.c: Include cookies.h.
2163
2164         * cookies.h: Declare cookies_cleanup.
2165
2166         * cookies.c (check_domain_match): Remove unused variable.
2167         (save_cookies): Remove extraneous argument from debug statement.
2168
2169         * host.c (same_host): Don't call skip_url.
2170
2171         * url.c (skip_url): Removed.  Removed its calls from various
2172         functions in url.c.
2173
2174 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2175
2176         * cookies.c (unsigned_string_hash): Use the new code in
2177         string_hash as reference.
2178
2179         * hash.c (hash_table_map): Allow deletion and change of the
2180         element processed by MAPFUN.
2181         (string_hash): Use the function from glib.
2182
2183 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2184
2185         * config.h.in: Include #undef stub.
2186
2187         * hash.c (hash_table_remove): Rewrite to actually clear deleted
2188         entries instead of just marking them as deleted.
2189
2190 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2191
2192         * hash.h: Declare hash_table_get_pair and hash_table_count.
2193
2194 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2195
2196         * cookies.c: Declare http_atotm.
2197
2198 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2199
2200         * ftp-ls.c (ftp_parse_unix_ls): Use octal constants for
2201         permissions.  A compiler that doesn't accept octal constants is
2202         seriously broken and shouldn't be used -- octal constants were
2203         present in K&R C!
2204
2205 2001-01-20  Karl Eichwalder  <ke@suse.de>
2206
2207         * Makefile.in: Provide and use DESTDIR according to the Coding
2208         Standards.
2209
2210 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2211
2212         * ftp-ls.c (ftp_parse_vms_ls): Make seconds optional in time
2213         specification.
2214
2215 2001-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2216
2217         * url.c (parseurl): Don't strip trailing slash when u->dir is "/"
2218         because that strips the *leading* slash, thus forcing relative
2219         FTP retrieval.
2220
2221 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2222
2223         * ftp.c (getftp): Convert initial FTP directory from VMS to UNIX
2224         notation for VMS servers.
2225         (ftp_retrieve_dirs): Do not prepend '/' to f->name when
2226         odir is an empty string.
2227
2228 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2229
2230         * ftp-ls.c (ftp_parse_winnt_ls): Made the fix for AM/PM more
2231         effective. Suggested by Edward J. Sabol.
2232
2233 2001-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2234
2235         * cookies.c (build_cookies_request): Use and sort cookies from all
2236         matching domains.
2237         (build_cookies_request): Check for duplicates before generating
2238         the `Cookies' header.
2239
2240         * main.c (main): Don't load cookies here.
2241         (main): Make loadcookies and savecookies call the correct command.
2242
2243         * http.c (http_loop): Load cookies on-demand.
2244
2245 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2246
2247         * http.c (gethttp): Fix indentation of SSL ifdef.
2248
2249 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2250
2251         * ftp.c (ftp_retrieve_dirs): Don't forcibly prepend "/" to u->dir;
2252         that hack is no longer necessary.
2253         (getftp): Prepend initial directory to *non*-absolute u->dir's.
2254
2255 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2256
2257         * init.c (cmd_file): New function.
2258         (enable_tilde_expansion): New variable.
2259         (run_wgetrc): Use it.
2260         (cmd_file): Use it.
2261
2262 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2263
2264         * init.c: Include cookie-related options.
2265
2266         * main.c (main): Include cookie-specific options.
2267         (main): Load cookies before download is finished.
2268         (main): Save cookies when done.
2269
2270         * http.c (gethttp): Process the `Set-Cookie' header.
2271         (gethttp): Include cookies in the response.
2272
2273         * cookies.c: New file.
2274
2275 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2276
2277         * utils.c (datetime_str): New function.
2278
2279 2001-04-08  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2280
2281         * ftp-ls.c (ftp_parse_winnt_ls): The AM/PM change did assume
2282         12:01PM == 00:01, which was obviously wrong. Taken care of this
2283         anomaly.
2284
2285         * ChangeLog: Removed an excess conflict marker. Reformatted the
2286         entry by Philipp Thomas from 2001-03-09.
2287
2288         * ftp-ls.c (ftp_parse_winnt_ls): Ensure that adjusted PM hours lay
2289         between 0 and 23. Elminate unused variable `sec'.
2290
2291 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2292
2293         * hash.c (hash_table_count): New function.
2294
2295 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2296
2297         * utils.c (read_file): Cast MAP_FAILED to char *.  Enforced by
2298         Digital Unix cc.
2299
2300 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2301
2302         * config.h.in: Oops, do the namespace tweaks only on systems we
2303         know about.
2304
2305 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2306
2307         * hash.c: Include <string.h>.
2308
2309 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2310
2311         * config.h.in: Define "compilation environment" options that work
2312         under Linux and Solaris.  To be reviewed on other OS'es.
2313
2314 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2315
2316         * http.c (gethttp): Prepend literal newline with `\n\'.
2317
2318 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2319
2320         * sysdep.h: Don't define VERY_LONG_FORMAT.
2321
2322         * utils.c (very_long_to_string): New function.
2323         (legible_very_long): Use it; don't use VERY_LONG_FORMAT.
2324
2325 2001-04-04  Christian Fraenkel  <christian.fraenkel@gmx.net>
2326
2327         * url.c (parse_uname): Would run past the end of the string if the
2328         username was present, but the URL did not contain a slash, e.g.
2329         http://foo:bar@myhost.
2330
2331 2001-04-03  KOJIMA Hajime  <kjm@rins.ryukoku.ac.jp>
2332
2333         * http.c (http_atotm): Use %A instead of %a to match full
2334         weekday.  (On most systems there is no difference.)
2335
2336 2001-04-03  Paul Bludov  <paul@ozero.net>
2337
2338         * mswindows.c (sleep): Use SleepEx() instead of Sleep().
2339         (ws_changetitle): Use alloca() instead of malloc() to avoid memory
2340         leak.
2341         (ws_mypath): Use GetModuleFileName instead of argv[0].
2342         (ws_startup): Use data.wVersion for comparison.
2343
2344 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2345
2346         * http.c (http_loop): Ditto.
2347
2348         * ftp.c (ftp_loop_internal): Made the check whether to continue
2349         retrieval `-O'-friendly.
2350
2351 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2352
2353         * netrc.c (parse_netrc): Don't trim the line endings explicitly;
2354         they will be handled as whitespace.
2355         (parse_netrc): Correctly handle lines that end with whitespace.
2356
2357 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2358
2359         * retr.c (retrieve_url): New variable global_download_count used
2360         to identify first retrieval.
2361
2362         * ftp.c (getftp): Ditto.
2363
2364         * http.c (gethttp): Rewind opt.dfp only on first retrieval.
2365
2366 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2367
2368         * init.c (cmd_address): Heap-allocate the address that gets stored
2369         to CLOSURE.  Old code would simply assign an address on the stack.
2370
2371 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
2372
2373         * ftp.c (ftp_get_listing): Propagate error status.
2374         (ftp_retrieve_glob): Use it.
2375         (ftp_loop): Ditto.
2376
2377 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
2378
2379         * main.c (main): Add -C to the string that is the third arg to
2380         getopt_long().
2381
2382 2001-04-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2383
2384         * ftp.c (getftp): Don't start the download from scratch if `-c'
2385         was specified, but the file is already fully downloaded.
2386
2387         * http.c (gethttp): Don't truncate a pre-existing file if `-c' was
2388         specified and the server doesn't support continued download.
2389         (gethttp): Don't start the download from scratch if `-c' was
2390         specified, but the file is already fully downloaded.
2391
2392 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
2393
2394         (recursive_retrieve): Don't clear the hash tables at this point at
2395         all; it interferes with the normal operation of register_download.
2396
2397 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
2398
2399         * recur.c (recursive_retrieve): Clear the hash tables only when
2400         they are defined.
2401
2402 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
2403
2404         * http.c (gethttp): Make sure the socket is closed with
2405         CLOSE_INVALIDATE before we have drained the body.
2406
2407 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
2408
2409         * retr.c (retrieve_url): Call register_download() for downloaded
2410         files and register_html() for downloaded HTML files.
2411
2412         * recur.c (register_download): New function; register here that a
2413         file has been downloaded, rather than in recursive_retrieve().
2414         (register_html): New function; enqueue the location of HTML files
2415         here rather than in recursive_retrieve().
2416
2417 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
2418
2419         * main.c (print_help): Use multiple fputs instead of a single ugly
2420         printf().
2421         (main): Consistently assign numbers >128 to options without a
2422         corresponding character.
2423
2424 2001-03-09  Philipp Thomas  <pthomas@suse.de>
2425
2426         * safe-ctype.h: New file. Locale independent ctype.h replacement
2427         taken from libiberty.
2428
2429         * safe-ctype.c: New file. Tables for above.
2430
2431         * Makefile.in: Add safe-ctype$o to OBJS.  Add dependencies for
2432         safe-ctype$o.
2433
2434         * cmpt.c: Remove include of ctype.h. Use ISSPACE instead of
2435         isspace.
2436
2437         * ftp-basic.c: Don't include ctype.h.
2438
2439         * ftp-ls.c: Likewise.
2440
2441         * ftp.c: Likewise.
2442
2443         * headers.c: Likewise.
2444
2445         * host.c: Likewise.
2446
2447         * html-parse.c: Likewise.
2448
2449         * html-url.c: Likewise.
2450
2451         * http.c: Likewise.
2452
2453         * init.c: Likewise.
2454
2455         * main.c: Likewise. Set LC_CTYPE along with LC_MESSAGES.
2456
2457         * netrc.c: Likewise.
2458
2459         * recur.c: Likewise.
2460
2461         * retr.c: Likewise.
2462
2463         * snprintf.c: Replace ctype.h with safe-ctype.h. Use ISDIGIT
2464         instead of isdigit.
2465
2466         * sysdep.h: Remove defines of ctype macros as they aren't needed
2467         for safe-ctype-h.
2468
2469         * url.c: Don't include ctype.h.
2470
2471         * utils.c: Likewise.
2472
2473         * wget.h: Include safe-ctype.h.
2474
2475 2001-03-27  Dan Harkless  <wget@harkless.org>
2476
2477         * Makefile.in: Moved top_builddir out of "User configuration
2478         section" of top Makefile and analogous spot in this one.
2479
2480 2001-03-17  Dan Harkless  <wget@harkless.org>
2481
2482         * Makefile.in: Include @SSL_INCLUDES@ substition in INCLUDES.
2483         Define top_builddir.  Link wget with libtool so the user doesn't
2484         have to supply a bunch of custom environment variables to
2485         correctly link with the OpenSSL shared libraries.
2486
2487 2001-03-06  Hack Kampbjorn  <hack@hackdata.com>
2488
2489         * http.c (gethttp): skip :port in host header if it is the
2490         DEFAULT_HTTPS_PORT when using SSL.
2491
2492         * url.c: move the #define of DEFAULT_HTTP_PORT, DEFAULT_FTP_PORT
2493         and DEFAULT_HTTPS_PORT to the header file so it can be use in the
2494         rest of the code.
2495         * url.h: Ditto
2496
2497 2001-03-01  Jonas Jensen  <bones@huleboer.dk>
2498
2499         * retr.c (show_progress): Correctly calculate the number of bytes
2500         in the first line of the download that have been actually
2501         downloaded in this run.
2502
2503 2001-02-23  Dan Harkless  <wget@harkless.org>
2504
2505         * main.c (print_help): --help documentation for -N said it would
2506         re-download files if they had the _same_ timestamp on server.
2507         (print_help): -nr belongs in "FTP options" section of --help
2508         output, not "Recursive retrieval" section.  Alphabetized FTP
2509         options by long option name.
2510
2511 2001-02-16  Dan Harkless  <wget@harkless.org>
2512
2513         * init.c (commands): Hack Kampbjørn <hack@hackdata.com> discovered
2514         that "httpsproxy" had been inserted into commands[] out of
2515         alphabetical order, causing "BUG: unknown command `httpuser'".
2516
2517 2001-02-13  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2518
2519         * ftp-ls.c (ftp_parse_ls): Added support of ST_MACOS (Unix-like
2520         listing without correct permissons).
2521
2522         * ftp.h (stype): Added ST_MACOS to identify the NetPresenz MacOS
2523         FTP server.
2524
2525         * ftp.c (ftp_retrieve_list): New mirroring logic: A remote file
2526         shall be donwloaded only when it's newer than the local copy or
2527         when it has the same timeestamp but its size is different. ST_VMS
2528         and ST_MACOS as special cases that lie about file size.
2529
2530         * ftp-ls.c (ftp_parse_ls): Support for ST_MACOS.
2531
2532         * Makefile.in: Removed dependency on ftpparse library due to unclear
2533         copyright issues and absence of any feedback to our queries.
2534
2535         * ftp-ls.c: Removed dependency on ftpparse library due to unclear
2536         copyright issues and absence of any feedback to our queries.
2537         (ftp_parse_ls): Added a warning message when remote server system
2538         does not seem to be suported by wget.
2539         (ftp_parse_vms_ls): New function for parsing VMS ftp
2540         server listing output.
2541         (clean_line): New function responsible for removing
2542         end-of-line characters from FTP listing texts.
2543
2544         * ftp.c (getftp): Global variables pwd and host_type are now
2545         member of the ccon structure under names ccon.id and ccon.rs.
2546
2547         * ftp.h (struct ccon): Added formed global variables from ftp.c,
2548         enum stype rs (remote system identification) and char *id (initial
2549         working directory), as suggested by Hrvoje.
2550
2551         * url.c (parse_uname): Added support for passwords containing '@'
2552         characters.
2553         (skip_uname): Ditto.
2554
2555 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2556
2557         * ftp.c (ftp_loop): Reset con.
2558
2559 2001-01-06  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2560
2561         * url.c (parse_uname): Added support for passwords containing '@'
2562         characters.
2563         (skip_uname): Ditto.
2564
2565 2001-02-11  Hack Kampbjørn  <hack@hackdata.com>
2566
2567         * url.c (parseurl): Debug-print u->ftp_type.
2568
2569 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2570
2571         * ftp.c (ftp_loop_internal): Disable padding.
2572         (getftp): Ditto.
2573
2574         * http.c (http_loop): Disable padding.
2575
2576         * retr.c (show_progress): Use it to enable padding.
2577
2578         * retr.c (rate): Optional parameter PAD for padding the rate.
2579
2580 2001-02-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2581
2582         * retr.c (show_progress): Make sure that the last output line
2583         includes progress.
2584
2585 2001-02-10  Jonas Jensen  <bones@huleboer.dk>
2586
2587         * retr.c (show_progress): Print the download rate along with the
2588         percentages.
2589         Along with Anders Thorsby <anders@thorsby.dk>.
2590
2591 2001-02-10  Tim Mooney  <mooney@dogbert.cc.ndsu.NoDak.edu>
2592
2593         * ftp.h: Rename enums `command' to `wget_ftp_command' and
2594         `fstatus' to `wget_ftp_status' because old names clash with Tru64
2595         net/if.h.
2596
2597 2001-02-08  Christian Fraenkel <christian.fraenkel@gmx.net>
2598
2599         * gen_sslfunc.c: verify_callback is now static
2600
2601         * gen_sslfunc.c (init_ssl): load certificate if specified
2602
2603         * gen_sslfunc.c (ssl_printerr): new function
2604
2605         * init.c: added new --sslcertfile and --sslcertkey switches
2606
2607         * main.c: ditto
2608
2609         * options.h: ditto
2610
2611         * http.c (gethttp): abort when init_ssl fails
2612
2613 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
2614
2615         * mswindows.h: Include <malloc.h>; it's needed for alloca().
2616
2617 2001-01-10  Dan Harkless  <wget@harkless.org>
2618
2619         * url.c (str_url): Clarified this function's comment header after
2620         Hrvoje answered my question on the list as to when hide != 1.
2621         Also Hrvoje pointed out I need to use xstrdup() on the string literal.
2622
2623 2001-01-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2624
2625         * connect.c (bindport): Declare addrlen as int.  Diagnosed by
2626         Drazen Kacar <dave@arsdigita.com>.
2627         (conaddr): Ditto.
2628
2629 2001-01-09  Dan Harkless  <wget@harkless.org>
2630
2631         * html-url.c: A bunch of fixup of `--page-requisites'-related
2632         comments to reflect Hrvoje's changes to my code when transplanting
2633         it into this new file, to fix spelling mistakes, to clarify, etc.
2634
2635         * url.c (write_backup_file): Clarified a comment.
2636         (str_url): Henrik van Ginhoven pointed out on the list that we
2637         shouldn't give away the number of characters in the password by
2638         replacing each character with a 'x'.  Use "<password>" instead.
2639
2640         * ftp.c (ftp_retrieve_dirs): The bug where recursion into FTP
2641         directories didn't work if logging in put you in a directory other
2642         than "/" is fixed now.  Removed the comment here warning of the bug.
2643
2644         * main.c (print_help): --continue's description was misleading.
2645         We don't "restart", we "resume".  Also, better to say
2646         "partially-downloaded file" rather than just "existing file".
2647
2648 2001-01-06  Dan Harkless  <wget@harkless.org>
2649
2650         * ChangeLog: The '[Not in 1.6 branch.]'s were decided not to be
2651         the best way to go about my aim.  Removed them in favor of:
2652
2653         * ChangeLog-branches/1.6_branch.ChangeLog: New file.
2654
2655 2001-01-04  Hrvoje Niksic  <hniksic@arsdigita.com>
2656
2657         * url.c (replace_attr): New function, to be used by both
2658         TO_COMPLETE and TO_RELATIVE case in convert_links.
2659         (find_fragment): New function for finding URL fragments.
2660         (replace_attr): Better handle the case where the original string
2661         is not quoted.  Use find_fragment.
2662         (convert_links): Use replace_attr().
2663
2664 2000-12-31  Dan Harkless  <wget@harkless.org>
2665
2666         * ChangeLog: Since this flat file doesn't have multiple branches,
2667         looking at the dates would make you think that things went into
2668         1.6 that actually just went into the 1.7-dev branch.  Added "[Not
2669         in 1.6 branch.]" where appropriate to clarify.
2670
2671 2000-12-30  Dan Harkless  <wget@harkless.org>
2672
2673         * ftp.c, http.c:  Applied Hack Kampbjørn <hack@hackdata.com>'s
2674         patch to deal with h_errno not being defined in netdb.h under Cygwin.
2675
2676 2000-12-18  Csaba Raduly  <csaba.raduly@sophos.com>
2677
2678         * sysdep.h: Include <malloc.h> and <io.h> under Watcom.
2679
2680 2000-12-17  Igor Khristophorov  <igor@atdot.org>
2681
2682         * http.c (check_end): Fix test for '+' or '-'.
2683
2684 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2685
2686         * url.c (parseurl): Rename inner loop var from i to ind to avoid
2687         clash with the function top-level-declared variable i.
2688         (str_url): Likewise, rename inner-loop i to j.
2689
2690         * recur.c (parse_robots): Don't declare LEN at top of function.
2691         (robots_match): Renamed parameter FORBIDDEN to avoid hiding of
2692         global variable.
2693
2694         * main.c (main): Change erroneous use of bitwise and to logical.
2695
2696         * init.c (cmd_address): Don't heap-allocate `sin'; it can be on
2697         the stack because it will be copied to closure.
2698
2699         Thanks to Csaba Raduly's run of PC-LINT over the sources.
2700
2701 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2702
2703         * http.c (basic_authentication_encode): Use xmalloc(), not
2704         malloc().  Thanks to Csaba Raduly's run of PC-LINT over the
2705         sources.
2706
2707 2000-12-17  Csaba Raduly  <csaba.raduly@sophos.com>
2708
2709         * sysdep.h: Test for __EMX__ rather than for EMXOS2 for OS/2
2710         compilation.
2711
2712 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2713
2714         * mswindows.c: Include <errno.h>.
2715
2716         * gen_sslfunc.c: Include <errno.h>.
2717
2718         * ftp-basic.c: Don't attempt to declare errno or h_errno because
2719         they're not used.
2720
2721         * main.c: Include <errno.h> because errno is used.
2722
2723         * ftp.c: Ditto.
2724
2725         * http.c: Include <netdb.h> for h_errno.
2726
2727 2000-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2728
2729         * html-parse.c (advance_declaration): MSVC assert() chokes on
2730         '\"'.  Use '"' instead.
2731
2732 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2733
2734         * utils.c (xfree_real): Removed.
2735         (xfree_debug): Just call free().
2736
2737         * wget.h (xfree): Make it an alias for free.
2738
2739 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2740
2741         * http.c (http_loop): Furthermore, touch output_document only if
2742         it is known to be an existing regular file.
2743
2744 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2745
2746         * ftp.c (ftp_retrieve_list): Ditto.
2747
2748         * http.c (http_loop): Touch output_document if that is used for
2749         output.
2750
2751 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2752
2753         * http.c: Include gen_sslfunc.h after including Wget's headers.
2754         (persistent_available_p): Needed coma before `int ssl'.
2755
2756 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2757
2758         * ftp.c (ftp_loop_internal): Ditto.
2759
2760         * http.c (http_loop): Use it.
2761
2762         * retr.c (sleep_between_retrievals): New function that handles the
2763         logic of opt.wait and opt.waitretry.
2764
2765 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2766
2767         * rbuf.h: Implement only a single version of RBUF_READCHAR, using
2768         rbuf_read_bufferful when the buffer is depleted.
2769
2770         * rbuf.c (rbuf_read_bufferful): New function.
2771
2772 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2773
2774         * gen_sslfunc.h: Use ansi2knr style function declarations.
2775
2776         * gen_sslfunc.c: Reformat according to the GNU coding standards.
2777         More should be done.
2778
2779         * http.c (persistent_available_p): Place the cheap SSL test nearer
2780         the top of the function.
2781         (CLOSE_FINISH, CLOSE_INVALIDATE): Define only one version of each.
2782
2783 2000-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
2784
2785         * url.c (init_unsafe_char_table): Reinstate space as an unsafe
2786         char.
2787
2788 2000-12-03  Christian Fraenkel <christian.fraenkel@gmx.net>
2789
2790         * Makefile.in: added gen_sslfunc object
2791         * config.h.in: added HAVE_SSL define
2792         * connect.c: changed select_fd from static int to int
2793         * connect.h: ditto
2794         * gen_sslfunc.h: New file
2795         * gen_sslfunc.c: ditto
2796         * http.c: added HTTPS fuctionality
2797         * retrc.c: ditto
2798         * url.c: ditto
2799         * init.c: added opt.httpsproxy
2800         * options.h: ditto
2801         * rbuf.h: added alternate rbuf struct
2802         * wget.h: added CONSSLERR
2803         * rbuf.c: ditto
2804
2805         * http.c: Added HTTPS fuctionality.
2806
2807         * retrc.c: Ditto.
2808
2809         * url.c: Ditto.
2810
2811         * init.c: Added opt.httpsproxy.
2812
2813         * options.h: Ditto.
2814
2815         * rbuf.h: Added alternate rbuf struct.
2816
2817         * wget.h: Added CONSSLERR.
2818
2819         * rbuf.c: Ditto.
2820
2821 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2822
2823         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
2824         "ignore_perms" to ignore file and directory permissions for
2825         Windows NT FTP server listings.
2826         (ftp_parse_winnt_ls): New function.
2827         (ftp_parse_ls): Parses UNIX and Windows NT listings
2828         separately. Simple heuristics for distinguishing between UNIX and
2829         MS-DOS-like FTP listing provided by Windows NT FTP service.
2830
2831 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2832
2833         * ftpparse.c, ftpparse.h: New files.
2834
2835         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
2836         only. Use ftp_parse_nonunix_ls otherwise.
2837         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
2838         exotic FTP servers.
2839
2840         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
2841         FTP servers.
2842
2843         * ftp.c: New static wariables host_type, pwd, and pwd_len.
2844         (getftp): Support for VMS. Support for FTP servers that do not
2845         place you in the root directory after login.
2846         (ftp_retrieve_list): VMS is silent about the real file size, issue
2847         a more appropriate message.
2848         (ftp_get_listing): Pass host_type to ftp_parse_ls.
2849
2850         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
2851
2852 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2853
2854         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
2855         "ignore_perms" to ignore file and directory permissions for
2856         Windows NT FTP server listings.
2857         (ftp_parse_winnt_ls): New function.
2858         (ftp_parse_ls): Parses UNIX and Windows NT listings
2859         separately. Simple heuristics for distinguishing between UNIX
2860         and MS-DOS-like FTP listing provided by Windows NT FTP service.
2861
2862 2000-11-29  John Summerfield  <summer@OS2.ami.com.au>
2863
2864         * netrc.c (parse_netrc): Get rid of line ending.
2865
2866 2000-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2867
2868         * ftp.c (ftp_retrieve_list): Undo typo "fix" until resolution by
2869         Dan.
2870
2871 2000-11-24  Karl Eichwalder  <ke@suse.de>
2872
2873         * main.c (print_help): Untabify.
2874
2875 2000-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2876
2877         * utils.c (xrealloc_debug): Do the unregister/register thing only
2878         if the pointer has actually changed.
2879         (xmalloc_real): Declare `static' in DEBUG_MALLOC builds.
2880         (xfree_real): Ditto.
2881         (xrealloc_real): Ditto.
2882         (xstrdup_real): Ditto.
2883
2884 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
2885
2886         * ftp.c (getftp): ftp_getaddress() returns a malloc'ed copy of the
2887         string; no need to strdup() it.
2888         (getftp): Make pwd_len a local variable.
2889         (ftp_loop): Free PWD before returning.
2890
2891         * init.c (cleanup): Free opt.ftp_pass only if it's non-NULL.
2892
2893 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
2894
2895         * all: Use xfree() instead of free.
2896
2897         * utils.c (xfree): New function.
2898
2899 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2900
2901         * url.c (convert_links): HTML-quote the converted string.
2902
2903         * utils.c (html_quote_string): Move here from ftp-ls.c
2904         (html_quote_string): Make non-static; declare in utils.h.
2905         (html_quote_string): Convert SP to &#32;.
2906
2907 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2908
2909         * ftp.c (getftp): Reformat Jan's code according to GNU coding
2910         standards; remove (debugging?) printf's; use '\0' for the ASCII
2911         zero character.  Use alloca() instead of malloc() for
2912         inter-function temporary allocations.
2913
2914 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2915
2916         * ftpparse.c, ftpparse.h: New files.
2917
2918         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
2919         only. Use ftp_parse_nonunix_ls otherwise.
2920         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
2921         exotic FTP servers.
2922
2923         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
2924         FTP servers.
2925
2926         * ftp.c: New static wariables host_type, pwd, and pwd_len.
2927         (getftp): Support for VMS. Support for FTP servers that do not
2928         place you in the root directory after login.
2929         (ftp_retrieve_list): VMS is silent about the real file size, issue
2930         a more appropriate message.
2931         (ftp_get_listing): Pass host_type to ftp_parse_ls.
2932
2933         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
2934
2935 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2936
2937         * hash.c (hash_table_put): Don't overwrite deleted mappings.
2938
2939 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2940
2941         * hash.c (find_mapping): New function.
2942         (hash_table_get): Use it.
2943         (hash_table_get_pair): Ditto.
2944         (hash_table_exists): Ditto.
2945         (hash_table_remove): Ditto.
2946         (hash_table_remove): Really delete the entry if the mapping
2947         following LOCATION is empty.
2948
2949         * utils.c (string_set_add): Check whether the element has existed
2950         before.
2951
2952         * hash.c (hash_table_get_pair): New function.
2953
2954 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2955
2956         * http.c (http_process_type): Ignore trailing whitespace; use
2957         strdupdelim().
2958
2959         * recur.c (recursive_retrieve): Use the new `convert' field.
2960         (convert_all_links): Ditto.
2961         (convert_all_links): Don't respect meta_disallow_follow.
2962
2963         * html-url.c (handle_link): Fill out link_relative_p and
2964         link_complete_p.
2965
2966         * url.h (struct _urlpos): Make elements more readable.
2967
2968         * recur.c (recursive_retrieve): Call slist_prepend instead of
2969         slist_append.
2970         (convert_all_links): Call slist_nreverse before iterating through
2971         urls_html.
2972
2973         * utils.c (slist_prepend): New function.
2974         (slist_nreverse): Ditto.
2975
2976 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2977
2978         * http.c (check_end): Constify.
2979
2980 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2981
2982         * http.c (http_loop): If username and password are known, try the
2983         `Basic' authentication scheme by default.
2984
2985         * connect.h: Declare test_socket_open.
2986
2987 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2988
2989         * version.c: Bump version from 1.5.3+dev to 1.7-dev.
2990
2991 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2992
2993         * http.c (gethttp): Don't use the return value of sprintf().
2994         (gethttp): Inhibit keep-alive if opt.http_keep_alive is 0.
2995
2996 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2997
2998         * recur.c (recursive_retrieve): Print the "so we don't load"
2999         debugging message only if we really don't load.
3000
3001         * http.c (gethttp): Inhibit keep-alive if proxy is being used.
3002         (gethttp): Don't request keep-alive if keep-alive is inhibited.
3003
3004 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3005
3006         * http.c (gethttp): Make the HTTP persistent connections more
3007         robust.
3008
3009 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3010
3011         * retr.c (get_contents): If use_expected, make sure that the
3012         appropriate amount of data is being read.
3013
3014         * http.c (gethttp): Check for both `Keep-Alive: ...' and
3015         `Connection: Keep-Alive'.
3016
3017         * wget.h (DEBUGP): Call debug_logprintf only if opt.debug is
3018         turned on.
3019
3020 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3021
3022         * http.c (connection_available_p): Use it.
3023
3024         * connect.c (test_socket_open): New function.
3025
3026         * http.c (gethttp): Support persistent connections.  Based on the
3027         ideas, and partly on code, by Sam Horrocks <sam@daemoninc.com>.
3028         (register_persistent): New function.
3029         (connection_available_p): Ditto.
3030         (invalidate_connection): Ditto.
3031
3032 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3033
3034         * url.c (convert_links): Handle UREL2ABS case.
3035
3036         * recur.c (recursive_retrieve): Instead of the list
3037         urls_downloaded, use hash tables dl_file_url_map and
3038         dl_url_file_map.
3039         (convert_all_links): Use them to retrieve data.
3040
3041         * host.c (clean_hosts): Free the hash tables.
3042
3043         * main.c (private_initialize): Call host_init().
3044
3045         * host.c (store_hostaddress): Use a saner, hash table-based data
3046         model.
3047         (realhost): Ditto.
3048         (host_init): Initialize the hash tables.
3049
3050 2000-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3051
3052         * utils.c (slist_append): Eviscerate NOSORT.  Hash tables are now
3053         used for what the sorted slists used to be used for.
3054         (slist_contains): Don't rely on the list being sorted.
3055         (slist_append): Simplify the code.
3056
3057         * recur.c (recursive_cleanup): Use free_string_set.
3058
3059         * utils.c (string_set_add, string_set_exists, string_set_free):
3060         New functions for easier freeing of hash tables whose keys are
3061         strdup'ed strings.
3062
3063         * recur.c (recursive_retrieve): Use the hash table functions for
3064         storing undesirable URLs.
3065
3066         * hash.c: New file.
3067
3068 2000-11-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3069
3070         * main.c (private_initialize): Call url_init.
3071         (main): Call private_initialize.
3072
3073         * url.c (unsafe_char_table): New table.
3074         (UNSAFE_CHAR): Use it.
3075         (init_unsafe_char_table): New function.
3076         (url_init): New function; call init_unsafe_char_table.
3077
3078 2000-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3079
3080         * mswindows.h: Define snprintf and vsnprintf to _snprintf and
3081         _vsnprintf respectively.
3082
3083 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
3084
3085         * config.h.in: Do the _XOPEN_SOURCE and _SVID_SOURCE things only
3086         on Linux.
3087
3088 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
3089
3090         * html-url.c (handle_link): Handle HTML fragment identifiers.
3091
3092         * recur.c (recursive_retrieve): If norobot info is respected and
3093         the file is specified not to be followed by robots, respect that.
3094
3095         * html-url.c (collect_tags_mapper): Handle <meta name=robots
3096         content=X>.  For us the important cases are where X is NONE or
3097         where X contains NOFOLLOW.
3098         (get_urls_html): Propagate that information to the caller.
3099
3100 2000-11-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3101
3102         * url.c (convert_links): Unlink the file we might be reading from
3103         before writing to it.
3104         (convert_links): Use alloca instead of malloc for
3105         filename_plus_orig_suffix.
3106
3107 2000-11-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3108
3109         * host.c (realhost): Add HOST to the list with quality==0 only if
3110         it wasn't already there.
3111         Based on analysis by Lu Guohan <feng@public.bjnet.edu.cn>.
3112
3113 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3114
3115         * url.c (get_urls_file): Ditto.
3116         (convert_links): Ditto.
3117
3118         * html-url.c (get_urls_html): Use read_file() instead of
3119         load_file().
3120
3121         * utils.c (read_file): New function, instead of the old
3122         load_file().
3123         (read_file_free): Ditto.
3124
3125         * url.c (findurl): Search only for the supported protocols.
3126         (convert_links): Use fwrite() when writing out a region of
3127         characters.
3128
3129 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3130
3131         * ftp-ls.c: Move html_quote_string and ftp_index here.
3132
3133         * url.c: Remove get_urls_html, since that's now in html-url.c.
3134
3135         * html-url.c: New file.
3136
3137         * html-parse.c: New file.
3138
3139 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3140
3141         * init.c (run_wgetrc): Don't bother killing off '\r' since
3142         pars_line() skips whitespace at end of line anyway.
3143         (parse_line): Oops, it didn't.  Now it does.
3144
3145         * recur.c (parse_robots): Ditto here.
3146
3147         * ftp-ls.c (ftp_parse_unix_ls): Kill off the newline character
3148         manually because read_whole_line no longer does.
3149
3150         * utils.c (read_whole_line): Rewrite to: a) use less memory
3151         (reallocates to needed size after work), b) work faster -->
3152         fgets() instead of getc, c) be more correct --> doesn't kill the
3153         newline character at the end of line.
3154
3155 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3156
3157         * init.c (comind): Initialize MAX to array size - 1.
3158
3159 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3160
3161         * url.c (construct): Changed last_slash[-1] to *(last_slash - 1).
3162         Suggested by Edward J. Sabol.
3163
3164 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3165
3166         * url.c (construct): Handle the case where host name is not
3167         followed by a slash.
3168
3169 2000-11-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3170
3171         * init.c: commands[] need to be sorted!  ("base" wasn't.)
3172
3173 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3174
3175         * wget.h (DO_REALLOC_FROM_ALLOCA): Use braces to disambiguate
3176         `if'.
3177
3178 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3179
3180         * url.c (construct): Insert unneeded initialization for the
3181         compiler to shut up.
3182
3183         * config.h.in: Define _XOPEN_SOURCE to 500 to get the prototype
3184         for strptime() (*duh*).  Define _SVID_SOURCE to get S_IFLNK which
3185         otherwise gets lost when you define _XOPEN_SOURCE.
3186
3187         * utils.c (touch): Include the file name in the error message.
3188         From Debian.
3189
3190 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3191
3192         * log.c (logvprintf): Use vsnprintf() in all cases.  If necessary,
3193         resize the buffer to fit the formated message.  That way, messages
3194         of arbitrary size may be printed.
3195         (logvprintf): Use saved_append() to optionally log the last
3196         several lines of output.
3197         (logputs): Ditto.
3198         (log_close): Adapt to new data structures.
3199         (log_dump): Ditto.
3200         (redirect_output): Print messages to stderr, not to stdout.
3201
3202         * log.c (saved_append_1): New function.  Replaces the old logging
3203         system ("log all output until 10M characters") with a new, much
3204         more reasonable one ("log last screenful of text").
3205         (saved_append): New function; call saved_append_1.
3206         (free_log_line): New function.
3207
3208 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3209
3210         * url.c (construct): Fix comment.
3211         (find_last_char): Document.
3212
3213 2000-11-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3214
3215         * snprintf.c: New file.
3216
3217 2000-11-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3218
3219         * wget.h: If HAVE_STDARG_H is not defined, don't declare argument
3220         types to logprintf() and debug_logprintf().
3221
3222 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3223
3224         * ftp.c (ftp_loop_internal): Hide the password from the URL when
3225         printing non-verbose.  Problem spotted by Dariusz Mlynarczyk
3226         <darekm@bydg.lomac.com.pl>.
3227
3228 2000-11-02  Junio Hamano  <junio@twinsun.com>
3229
3230         * ftp-basic.c (ftp_login): Make comparison case-insensitive.
3231
3232 2000-11-02  Tyler Riddle  <triddle@liquidmarket.com>
3233
3234         * http.c (known_authentication_scheme_p): Recognize NTML
3235         authentication.
3236         (create_authorization_line): Treat NTML the same as `Basic'.
3237
3238 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3239
3240         * retr.c (retrieve_url): Free url before returning.
3241         (retrieve_url): Free mynewloc before returning.
3242         Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
3243
3244 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3245
3246         * url.c (parseurl): Remove possible reading past the end of
3247         sup_protos[].  Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
3248
3249 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3250
3251         * main.c (main): In case of opt.downloaded overflowing, print
3252         <overflow> instead of a totally bogus random value.
3253
3254         * retr.c (retrieve_from_file): Ditto.
3255
3256         * recur.c (recursive_retrieve): Ditto.
3257
3258         * main.c (main): Ditto.
3259
3260         * http.c (http_loop): Ditto.
3261
3262         * ftp.c (ftp_loop_internal): Use downloaded_increase() instead of
3263         `+=', and downloaded_exceeds_quota() instead of the simple-minded
3264         check.
3265         (ftp_retrieve_list): Ditto.
3266         (ftp_retrieve_dirs): Ditto.
3267         (ftp_retrieve_glob): Ditto.
3268
3269         * retr.c (downloaded_increase): New function.  Notice overflows of
3270         opt.downloaded.
3271         (downloaded_exceeds_quota): Make sure that opt.downloaded is not
3272         used if it overflowed.
3273
3274         * options.h (struct options): New member downloaded_overflow.
3275
3276 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3277
3278         * wget.h (enum): Remove extra space after last enumeration.
3279
3280 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3281
3282         * main.c (main): Use legible_very_long() for printing
3283         opt.downloaded.
3284
3285         * utils.c (legible_1): New function that operates on strings and
3286         does the brunt of legible()'s work.
3287         (legible): Use legible_1().
3288         (legible_very_long): New function; dump the argument with
3289         sprintf(), and call legible_1().
3290
3291         * options.h (struct options): Use VERY_LONG_TYPE for
3292         opt.downloaded.
3293
3294         * sysdep.h (VERY_LONG_TYPE): Define it to have a 64-bit or greater
3295         type.
3296
3297         * config.h.in: Make sure that SIZEOF_LONG and SIZEOF_LONG_LONG get
3298         defined.  Define HAVE_LONG_LONG if long long is available.
3299
3300 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3301
3302         * utils.c (long_to_string): Update with a later, better version.
3303
3304 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3305
3306         * url.c (path_simplify_with_kludge): New function.
3307         (path_simplify_with_kludge): Disable it.  Instead...
3308         (parse_dir): ...make sure that at this point the right thing is
3309         done, i.e. that "query" part of the URL (?...) is always assigned
3310         to the file, never to the directory portion of the path.
3311
3312 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3313
3314         * retr.c (retrieve_url): Detect redirection cycles.
3315
3316 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3317
3318         * url.c (get_urls_html): Decode HTML entities using
3319         html_decode_entities.
3320
3321         * html.c (htmlfindurl): Don't count the `#' in numeric entities
3322         (&#NNN;) as an HTML fragemnt.
3323         (html_decode_entities): New function.
3324
3325 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3326
3327         * html.c (htmlfindurl): Fix recognition of # HTML fragments.
3328
3329 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3330
3331         * url.c (construct): Rewritten for clarity.  Avoids the
3332         unnecessary copying and stack-allocation the old version
3333         performed.
3334
3335 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3336
3337         * ftp.c (getftp): Ditto.
3338
3339         * http.c (gethttp): Rewind the stream when retrying from scratch.
3340
3341 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3342
3343         * retr.c (retrieve_url): Use url_concat() to handle relative
3344         redirections instead of /ad hoc/ code.
3345
3346         * url.c (url_concat): New function encapsulating weird
3347         construct().
3348         (urllen_http_hack): New function.
3349         (construct): When constructing new URLs, recognize that `?' does
3350         not form part of the file name in HTTP.
3351
3352 2000-10-13  Adrian Aichner  <adrian@xemacs.org>
3353
3354         * retr.c: Add msec timing support for WINDOWS.
3355         * retr.c (reset_timer): GetSystemTime() on WINDOWS.
3356         * retr.c (elapsed_time): Calculate delta time to msec on WINDOWS.
3357
3358 2000-10-27  Dan Harkless  <wget@harkless.org>
3359
3360         * retr.c (retrieve_url): Manually applied T. Bharath
3361         <TBharath@responsenetworks.com>'s patch to get wget to grok
3362         illegal relative URL redirects.  Reformatted and re-commented it.
3363
3364 2000-10-23  Dan Harkless  <wget@harkless.org>
3365
3366         * connect.c (make_connection and bindport): Manually applied Rob
3367         Mayoff <mayoff@dqd.com>'s 1.5.3 patch to add --bind-address,
3368         changing coding style to GNU's.
3369
3370         * ftp.c (ftp_loop_internal): --delete-after wasn't implemented for
3371         files downloaded via FTP.  Per a comment, .listing files were not
3372         counted towards number of bytes and files downloaded because they're
3373         deleted anyway.  Well, they aren't under -nr, so count them then.
3374
3375         * init.c: Manually applied Rob Mayoff's 1.5.3 patch to add
3376         --bind-address, alphabetizing, changing coding style to GNU's,
3377         commenting, and renaming cmd_ip_address() to cmd_address() to
3378         imply hostnames also okay.
3379
3380         * main.c (main): --delete-after didn't delete the root of the
3381         tree.  Ignore --convert-links if --delete-after was specified.
3382         Manually applied Rob Mayoff's 1.5.3 patch to add --bind-address,
3383         fixing duplicate use of added-since-1.5.3 case value.
3384         (print_help): Clarified that --delete-after deletes local files.
3385         Rob forgot to add a line for his new --bind-address option.
3386
3387         * options.h (struct options): Manually applied Rob Mayoff's patch
3388         to add --bind-address (bind_address structure member).
3389
3390         * recur.c (recursive_retrieve): Improved comment; added DEBUGP().
3391         Ignore --convert-links if --delete-after was specified.
3392
3393         * retr.c (retrieve_from_file): Just added a DEBUGP().
3394
3395 2000-10-19  Dan Harkless  <wget@harkless.org>
3396
3397         * ftp.c (ftp_loop_internal): downloaded_file() enumerators changed.
3398         (getftp): Applied Piotr Sulecki <Piotr.Sulecki@ios.krakow.pl>'s
3399         patch to work around FTP servers that incorrectly respond to the
3400         "REST" command with the remaining size rather than the total file size.
3401
3402         * http.c (gethttp): Improved a comment and added code to tack on
3403         ".html" to text/html files without that extension when -E specified.
3404         (http_loop): Use new downloaded_file() enumerators and deal with
3405         the case of gethttp() called xrealloc() on u->local.
3406
3407         * init.c (commands): Added new "htmlextension" command.
3408         Also renamed John Daily's cmd_quad() to the more descriptive
3409         cmd_lockable_boolean(), alpha-sorted the CMD_DECLARE()s and
3410         removed duplicate cmd_boolean() declaration.
3411
3412         * main.c (print_help): Added my new -E / --html-extension option.
3413         (main): Undocumented --email-address option previously used -E synonym.
3414         Stole it away for the much more deserving --html-extension's use.
3415
3416         * options.h (struct options): Added html_extension field.
3417
3418         * url.c (convert_links): URL X that we saved as X.html locally due
3419         to -E needs to be backed up as X.orig, not X.html.orig.  Added comments.
3420         (downloaded_file): Now remembers if we added .html extension to a file.
3421
3422         * url.h (downloaded_file_t): Added extra enumerators to support above.
3423         (downloaded_file): Now takes and returns a downloaded_file_t.
3424
3425         * wget.h (unnamed "dt" enum): Added ADDED_HTML_EXTENSION enumerator.
3426
3427 2000-10-09  Dan Harkless  <wget@harkless.org>
3428
3429         * html.c (htmlfindurl): Added unneeded initialization to quiet warning.
3430
3431         * main.c (print_help): Clarified what --retr-symlinks does.
3432
3433 2000-09-15  John Daily  <jdaily@cyberdude.com>
3434
3435         * init.c: Add support for "always" and "never" values to allow
3436         .wgetrc to override commandline (useful e.g. with .pm files
3437         calling `wget --passive-ftp' when your firewall doesn't allow that).
3438
3439         * ftp.c (getftp): passive_ftp is first option to support always/never.
3440
3441 2000-08-30  Dan Harkless  <wget@harkless.org>
3442
3443         * ftp.c (ftp_retrieve_list): Use new INFINITE_RECURSION #define.
3444
3445         * html.c: htmlfindurl() now takes final `dash_p_leaf_HTML' parameter.
3446         Wrapped some > 80-column lines.  When -p is specified and we're at a
3447         leaf node, do not traverse <A>, <AREA>, or <LINK> tags other than
3448         <LINK REL="stylesheet">.
3449
3450         * html.h (htmlfindurl): Now takes final `dash_p_leaf_HTML' parameter.
3451
3452         * init.c: Added new -p / --page-requisites / page_requisites option.
3453
3454         * main.c (print_help): Clarified that -l inf and -l 0 both allow
3455         infinite recursion.  Changed the unhelpful --mirrior description
3456         to simply give the options it's equivalent to.  Added new -p option.
3457         (main): Added some comments; handle new -p / --page-requisites.
3458
3459         * options.h (struct options): Added new page_requisites field.
3460
3461         * recur.c: Changed "URL-s" to "URLs" and "HTML-s" to "HTMLs".
3462         Calculate and pass down new `dash_p_leaf_HTML' parameter to
3463         get_urls_html().  Use new INFINITE_RECURSION #define.
3464
3465         * retr.c: Changed "URL-s" to "URLs".  get_urls_html() now takes
3466         final `dash_p_leaf_HTML' parameter.
3467
3468         * url.c: get_urls_html() and htmlfindurl() now take final
3469         `dash_p_leaf_HTML' parameter.
3470
3471         * url.h (get_urls_html): Now takes final `dash_p_leaf_HTML' parameter.
3472
3473         * wget.h: Added some comments and new INFINITE_RECURSION #define.
3474
3475 2000-08-23  Dan Harkless  <wget@harkless.org>
3476
3477         * main.c (print_help): -B / --base was not mentioned.
3478
3479 2000-08-22  Dan Harkless  <wget@harkless.org>
3480
3481         * main.c (print_help): Modified -nc description to mention that it
3482         also prevents the creation of multiple versions of the same file
3483         with ".<number>" suffixes.
3484
3485 2000-07-14  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3486
3487         * retr.c (retrieve_url): Consistently strdup opt.referer when
3488         setting u->referer.
3489
3490 2000-06-09  Dan Harkless  <wget@harkless.org>
3491
3492         * main.c (print_help): --help output for --waitretry was over 80 cols.
3493
3494 2000-06-09  Hrvoje Niksic  <hniksic@iskon.hr>
3495
3496         * url.c (encode_string): Fix comment.
3497         Suggested by Herold Heiko <Heiko.Herold@previnet.it>.
3498
3499 2000-06-01  Const Kaplinsky  <const@ce.cctpu.edu.ru>
3500
3501         * ftp.c (ftp_retrieve_list): Change permissions only on plain
3502         files.
3503
3504 2000-06-01  Hrvoje Niksic  <hniksic@iskon.hr>
3505
3506         * url.c (str_url): Print the port number only if it's different
3507         from the default port number for that protocol.
3508
3509 2000-05-22  Dan Harkless  <wget@harkless.org>
3510
3511         * main.c (print_help): Added --help line for Damir Dzeko
3512         <ddzeko@zesoi.fer.hr>'s until-now-undocumented --referer option.
3513         Removed comments that --referer and --waitretry were undocumented.
3514         Changed "`.wgetrc' command" to "`.wgetrc'-style command" on --help
3515         line for --execute.
3516
3517 2000-05-18  Hrvoje Niksic  <hniksic@iskon.hr>
3518
3519         * ftp.c (getftp): Ditto.
3520
3521         * http.c (gethttp): Check for return value of fclose/fflush.
3522
3523 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
3524
3525         * host.c (store_hostaddress): Instead of shifting ADDR, start
3526         copying from the correct address.
3527
3528 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
3529
3530         * http.c (gethttp): Don't free REQUEST -- it was allocated with
3531         alloca().
3532         Pointed out by Gisle Vanem <gvanem@eunet.no>.
3533
3534 2000-04-04  Dan Harkless  <wget@harkless.org>
3535
3536         * host.c (store_hostaddress): R. K. Owen's patch introduces a
3537         "left shift count >= width of type" warning on 32-bit
3538         architectures.  Got rid of it by tricking the compiler w/ a variable.
3539
3540         * url.c (UNSAFE_CHAR): The macro didn't include all the illegal
3541         characters per RFC1738, namely everything above '~'.  It also
3542         generated a warning on OSes where char =~ unsigned char.  Fixed.
3543
3544 1998-10-17  Hrvoje Niksic  <hniksic@srce.hr>
3545
3546         * http.c (http_process_type): Removed needless strdup(), a memory
3547         leak.
3548
3549 1998-09-25  Hrvoje Niksic  <hniksic@srce.hr>
3550
3551         * html.c (htmlfindurl): Set PH to the first occurrence of `#'.
3552
3553 1998-09-25  Simon Munton  <simonm@m4data.co.uk>
3554
3555         * init.c (wgetrc_file_name): Don't free HOME under Windows.
3556
3557 1998-12-01  "R. K. Owen"  <rkowen@Nersc.GOV>
3558
3559         * host.c (store_hostaddress): Fix for big endian 64-bit machines.
3560
3561 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
3562
3563         * url.c (UNSAFE_CHAR): New macro.
3564         (contains_unsafe): Use it.
3565         (encode_string): Ditto.
3566
3567 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
3568
3569         * main.c (i18n_initialize): Use LC_MESSAGES only if available.
3570
3571 2000-03-31  Hrvoje Niksic  <hniksic@srce.hr>
3572
3573         * Use TOUPPER/TOLOWER.
3574
3575 1998-12-22  Alexander V. Lukyanov  <lav@yars.free.net>
3576
3577         * ftp-opie.c (btoe): Zero-terminate OSTORE.
3578
3579 2000-03-21  Hrvoje Niksic  <hniksic@iskon.hr>
3580
3581         * wget.h (DO_REALLOC_FROM_ALLOCA): Ditto.
3582
3583         * sysdep.h (ISALNUM): New macro.
3584         (TOLOWER): Ditto.
3585         (TOUPPER): Ditto.
3586
3587 2000-03-10  Dan Harkless  <wget@harkless.org>
3588
3589         * html.c (idmatch): Implemented checking of my new --follow-tags
3590         and --ignore-tags options.
3591
3592         * init.c (commands): Added comment reminding people adding new
3593         entries doing allocation to add corresponding freeing in cleanup().
3594         (commands): Added new followtags and ignoretags commands.
3595         (cleanup): Free storage for new followtags and ignoretags.
3596
3597         * main.c: Use of "comma-separated list" was random -- normalized
3598         it.  Did some alphabetization.  Added comments pointing out
3599         "Options without arguments" and "Options accepting an argument"
3600         sections of long_options[].  Added new options --follow-tags and
3601         -G / --ignore-tags.  Added comment that Damir's --referer is
3602         currently undocumented.  Added comment that Heiko's --waitretry is
3603         partially undocumented (mentioned in --help but not in
3604         wget.texi).  Moved improperly sorted 24, 129, and 'G' cases.
3605
3606         * options.h (struct options): Added new fields follow_tags and
3607         ignore_tags.
3608
3609         * wget.h: Added "#define EQ 0" so we can say "strcmp(a, b) == EQ".
3610
3611 2000-03-02  Dan Harkless  <wget@harkless.org>
3612
3613         * ftp.c (ftp_loop_internal): Heiko introduced "suggest explicit
3614         braces to avoid ambiguous `else'" warnings.  Eliminated them.
3615
3616         * http.c (gethttp): Dan Berger's query string patch is totally
3617         bogus.  If you have two different URLs, gen_page.cgi?page1 and
3618         get_page.cgi?page2, they'll both be saved as get_page.cgi and the
3619         second will overwrite the first.  Also, parameters to implicit
3620         CGIs, like "http://www.host.com/db/?2000-03-02" cause the URLs to
3621         be printed with trailing garbage characters, and could seg fault.
3622         Backing out the patch, which Dan B. informed me by email was just
3623         a kludge to download StarOffice from Sun made necessary due to
3624         wget's unconditional escaping of certain characters (room for an
3625         option there?).
3626         (http_loop): Heiko introduced "suggest explicit braces to avoid
3627         ambiguous `else'" warnings.  Eliminated them.
3628
3629         * main.c: Heiko's --wait / --waitretry backwards compatibility
3630         code looks to have been totally untested -- automatic variable
3631         'wr' was used without being initialized, and a long int was passed
3632         into setval()'s char* val parameter.
3633
3634         * recur.c (parse_robots): Applied Edward J. Sabol
3635         <sabol@alderaan.gsfc.nasa.gov>'s patch for Guan Yang's reported
3636         problem with "User-agent:<space>*<space>" lines in robots.txt.
3637
3638         * url.c (parseurl, str_url): Removing Dan Berger's code (see
3639         http.c above for explanation).
3640
3641 1999-08-25  Heiko Herold  <Heiko.Herold@previnet.it>
3642
3643         * ftp.c: Respect new option waitretry.
3644
3645 2000-01-30  Damir Dzeko  <ddzeko@zesoi.fer.hr>
3646
3647         * http.c (gethttp): Send custom Referer, if required.
3648
3649 1999-09-24  Charles G Waldman  <cgw@fnal.gov>
3650
3651         * netrc.c (parse_netrc): Allow passwords to contain spaces.
3652
3653         * netrc.c (parse_netrc): New function.
3654
3655 1999-09-17  Dan Berger  <dberger@ix.netcom.com>
3656
3657         * http.c (gethttp): Send it.
3658
3659         * url.c (parseurl): Detect query string in HTTP URL-s.
3660         (str_url): Print it.
3661
3662 2000-03-02  HIROSE Masaaki  <hirose31@t3.rim.or.jp>
3663
3664         * html.c (html_allow): Add <link href=...> and <script src=...>.
3665
3666 1999-05-02  andrew deryabin  <djsf@softhome.net>
3667
3668         * http.c (gethttp): Specify port in `Host' header only if it's
3669         different from 80.
3670
3671 1998-11-03  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
3672
3673         * recur.c (recursive_retrieve): If a finite maximum depth is
3674         specified, and we're are already at that depth, don't download the
3675         HTML file for parsing.
3676
3677 2000-03-01  Dan Harkless  <wget@harkless.org>
3678
3679         * ftp.c (ftp_loop_internal): Call new downloaded_file() function,
3680         even though we don't do conversion on HTML files retrieved via
3681         FTP, so _current_ usage of downloaded_file() makes this call unneeded.
3682         (ftp_retrieve_list): Added a comment saying where we need to
3683         stat() a .orig file if FTP'd HTML file conversion is ever implemented.
3684         (ftp_retrieve_list): "Local file '%s' is more recent," is sometimes
3685         a lie -- reworded as "Server file no newer than local file '%s' --".
3686
3687         * http.c (http_loop): Fixed a typo and clarified a comment.
3688         (http_loop): When -K and -N are specified together, compare size
3689         and timestamp of server file X against local file X.orig (if
3690         extant) rather than converted local file X.
3691         (http_loop): "Local file '%s' is more recent," is sometimes a lie
3692         -- reworded as "Server file no newer than local file '%s' --".
3693         (http_loop): Call new downloaded_file() function to prevent
3694         wrongful overwriting of .orig file when -N is specified.
3695
3696         * url.c (convert_links): When -K specified, only rename X to
3697         X.orig if downloaded_file() returns TRUE.  Otherwise when we skip
3698         file X due to -N, we clobber an X.orig from a previous invocation.
3699         (convert_links): Call the failsafe xstrdup(), not the real strdup().
3700         (convert_links): Added a note asking anyone who understands how
3701         multiple URLs can correspond to a single file to comment it.
3702         (downloaded_file): Added this new function.
3703
3704         * url.h (downloaded_file): Added prototype for this new function
3705         as well as its downloaded_file_t enum type.
3706
3707         * wget.h (boolean): Added this new typedef and TRUE and FALSE #defines.
3708
3709 2000-02-29  Dan Harkless  <wget@harkless.org>
3710
3711         * version.c: Upped version to developer-only "1.5.3+dev".
3712
3713 2000-02-18  Dan Harkless  <wget@harkless.org>
3714
3715         * init.c (backup_converted): Added this new option.
3716
3717         * main.c (-K / --backup-converted): Added this new option.
3718
3719         * options.h (backup_converted): Added this new option.
3720
3721         * url.c (convert_links): When backup_converted is specified, save
3722         file X as X.orig before converting.
3723
3724         * url.h (urlpos): Fixed typo -- said "Rekative" instead of "Relative".
3725
3726 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
3727
3728         * version.c: Wget 1.5.3 is released.
3729
3730 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
3731
3732         * host.c (ftp_getaddress): Don't warn when reverse-lookup of local
3733         address doesn't yield FQDN.
3734
3735 1998-09-21  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
3736
3737         * cmpt.c (strerror): Fix declaration of sys_errlist.
3738
3739 1998-09-11  Hrvoje Niksic  <hniksic@srce.hr>
3740
3741         * main.c (main): Don't use an array subscript as the first
3742         argument to STRDUP_ALLOCA.
3743         From Kaveh R. Ghazi.
3744
3745 1998-09-11  Szakacsits Szabolcs  <szaka@sienet.hu>
3746
3747         * html.c (htmlfindurl): Download table background.
3748
3749 1998-09-11  Hans Grobler  <grobh@conde.ee.sun.ac.za>
3750
3751         * init.c (parse_line): Would free *com before allocating it.
3752         (parse_line): Would free com instead of *com.
3753
3754 1998-09-10  Howard Gayle  <howard@fjst.com>
3755
3756         * url.c (get_urls_html): Would drop the last character of the
3757         link.
3758
3759 1998-09-10  Hrvoje Niksic  <hniksic@srce.hr>
3760
3761         * http.c (http_loop): Don't print status code if quiet.
3762
3763 1998-09-10  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
3764
3765         * log.c: Use <stdarg.h> only when __STDC__.
3766
3767 1998-09-10  Adam D. Moss  <adam@foxbox.org>
3768
3769         * html.c (htmlfindurl): Download <layer src=...>.
3770
3771 1998-09-10  Howard Gayle  <howard@fjst.com>
3772
3773         * ftp.c (ftp_retrieve_list): Don't update the time stamp of a file
3774         not retrieved.
3775
3776 1998-06-27  Hrvoje Niksic  <hniksic@srce.hr>
3777
3778         * utils.c: Include <libc.h> on NeXT.
3779
3780 1998-06-26  Heinz Salzmann  <heinz.salzmann@intermetall.de>
3781
3782         * url.c (get_urls_html): Fix calculation of URL position.
3783
3784 1998-06-23  Hrvoje Niksic  <hniksic@srce.hr>
3785
3786         * version.c: Wget 1.5.2 is released.
3787
3788 1998-06-23  Dave Love  <d.love@dl.ac.uk>
3789
3790         * ftp.c, init.c, netrc.c: Include errno.h.
3791
3792         * http.c: Include errno.h and time header.
3793
3794         * Makefile.in (exext): Define.
3795         (install.bin, uninstall.bin): Use it.
3796
3797 1998-06-21  Hrvoje Niksic  <hniksic@srce.hr>
3798
3799         * http.c (http_loop): Don't attempt to compare local and remote
3800         sizes if the remote size is unknown.
3801
3802 1998-06-16  Hrvoje Niksic  <hniksic@srce.hr>
3803
3804         * url.c (get_urls_html): Use malloc() instead of alloca in the
3805         loop.
3806
3807 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
3808
3809         * version.c: Wget 1.5.2-b4 is released.
3810
3811 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
3812
3813         * url.c (get_urls_html): Ignore spaces before and after the URI.
3814
3815 1998-06-08  Wanderlei Antonio Cavassin  <cavassin@conectiva.com.br>
3816
3817         * ftp.c (getftp): Translate `done'.
3818
3819 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
3820
3821         * version.c: Wget 1.5.2-b3 is released.
3822
3823 1998-06-06  Alexander Kourakos  <awk@bnt.com>
3824
3825         * init.c (cleanup): Close dfp, don't free it.
3826
3827 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
3828
3829         * utils.c (make_directory): Twiddle.
3830
3831         * config.h.in: Added template for access().
3832
3833 1998-06-05  Mathieu Guillaume  <mat@cythere.com>
3834
3835         * html.c (htmlfindurl): Download <input src=...>
3836
3837 1998-06-03  Hrvoje Niksic  <hniksic@srce.hr>
3838
3839         * utils.c (file_exists_p): Use access() with two arguments.
3840
3841 1998-05-27  Martin Kraemer  <Martin.Kraemer@mch.sni.de>
3842
3843         * netrc.c (parse_netrc): Correct logic.
3844
3845 1998-05-27  Hrvoje Niksic  <hniksic@srce.hr>
3846
3847         * ftp.c (getftp): Added `break'; suggested by Lin Zhe Min
3848         <ljm@ljm.wownet.net>.
3849
3850 1998-05-24  Hrvoje Niksic  <hniksic@srce.hr>
3851
3852         * version.c: Wget 1.5.2-b2 is released.
3853
3854 1998-05-18  Juan Jose Rodriguez  <jcnsoft@jal1.telmex.net.mx>
3855
3856         * mswindows.h: Don't translate mkdir to _mkdir under Borland.
3857
3858 1998-05-17  Hrvoje Niksic  <hniksic@srce.hr>
3859
3860         * retr.c (elapsed_time): Return correct value when
3861         HAVE_GETTIMEOFDAY is undefined.
3862
3863 1998-05-13  Hrvoje Niksic  <hniksic@srce.hr>
3864
3865         * version.c: Wget 1.5.2-b1 is released.
3866
3867 1998-05-08  Hrvoje Niksic  <hniksic@srce.hr>
3868
3869         * getopt.c (_getopt_internal): Use exec_name instead of argv[0].
3870         (_getopt_internal): Don't translate `#if 0'-ed strings.
3871
3872 1998-05-06  Douglas E. Wegscheid  <wegscd@whirlpool.com>
3873
3874         * mswindows.c (ws_handler): Use fork_to_background().
3875
3876 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
3877
3878         * version.c: Wget 1.5.1 is released.
3879
3880 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
3881
3882         * http.c (parse_http_status_line): Avoid `minor' and `major'
3883         names.
3884
3885 1998-05-02  Hrvoje Niksic  <hniksic@srce.hr>
3886
3887         * utils.c (mkdirhier): Renamed to make_directory.
3888
3889 1998-05-01  Hrvoje Niksic  <hniksic@srce.hr>
3890
3891         * mswindows.c (fork_to_background): Define under Windows.
3892
3893         * utils.c (fork_to_background): New function.
3894
3895         * html.c (htmlfindurl): Removed rerdundant casts.
3896
3897 1998-05-01  Douglas E. Wegscheid  <wegscd@whirlpool.com>
3898
3899         * mswindows.c (ws_mypath): Cache the path.
3900
3901 1998-04-30  Douglas E. Wegscheid  <wegscd@whirlpool.com>
3902
3903         * ftp.h: Prefix enum ftype members with FT_.
3904
3905         * ftp-ls.c, ftp.c, html.h: Adjust accordingly.
3906
3907         * mswindows.h: Use stat under Borland, _stat under MSVC.
3908
3909 1998-04-28  Hrvoje Niksic  <hniksic@srce.hr>
3910
3911         * http.c (known_authentication_scheme_p): New function.
3912         (gethttp): Handle authorization more correctly.
3913
3914         * ftp-basic.h: Removed.
3915
3916         * cmpt.h: Removed.
3917
3918         * utils.c: Include <unistd.h> before <pwd.h>; needed under SunOS
3919         with gcc 2.8.
3920         (numdigit): Use `while' loop.
3921
3922         * http.c (create_authorization_line): Detect authentication
3923         schemes case-insensitively.
3924
3925         * http.c (extract_header_attr): Use strdupdelim().
3926         (digest_authentication_encode): Move declaration of local
3927         variables to smaller scope.
3928         (digest_authentication_encode): Reset REALM, OPAQUE and NONCE.
3929         (create_authorization_line): Detect authentication schemes
3930         case-insensitively.
3931
3932         * utils.c (touch): Constify.
3933
3934         * http.c (gethttp): Report a nicer error when no data is received.
3935
3936         * rbuf.h (RBUF_READCHAR): Ditto.
3937
3938         * ftp-basic.c (ftp_response): Use sizeof.
3939
3940 1998-04-27  Hrvoje Niksic  <hniksic@srce.hr>
3941
3942         * retr.c (print_percentage): EXPECTED is long, not int.
3943         (print_percentage): Use floating-point arithmetic to avoid
3944         overflow with large files' sizes multiplied with 100.
3945
3946 1998-04-27  Gregor Hoffleit  <flight@mathi.uni-heidelberg.de>
3947
3948         * config.h.in: Added pid_t stub.
3949
3950         * sysdep.h (S_ISREG): Moved here from mswindows.h (NeXT doesn't
3951         define it).
3952
3953 1998-04-20  Hrvoje Niksic  <hniksic@srce.hr>
3954
3955         * version.c: Wget 1.5.0 is released.
3956
3957 1998-04-18  Hrvoje Niksic  <hniksic@srce.hr>
3958
3959         * url.c (str_url): Ditto.
3960
3961         * ftp-basic.c (ftp_rest): Use new name.
3962
3963         * utils.c (long_to_string): Renamed from prnum().
3964
3965 1998-04-16  Hrvoje Niksic  <hniksic@srce.hr>
3966
3967         * version.c: Wget 1.5-b17 is released.
3968
3969 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
3970
3971         * headers.c (header_get): New argument FLAGS.
3972
3973         * http.c (gethttp): If request is malformed, bail out of the
3974         header loop.
3975         (gethttp): Check for empty header *after* the status line checks.
3976         (gethttp): Disallow continuations for status line.
3977
3978 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
3979
3980         * version.c: Wget 1.5-b16 is released.
3981
3982 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
3983
3984         * init.c (commands): Renamed `always_rest' to `continue'.
3985
3986 1998-04-05  Hrvoje Niksic  <hniksic@srce.hr>
3987
3988         * all: Use it.
3989
3990         * log.c (logputs): New argument.
3991         (logvprintf): Ditto.
3992         (logprintf): Ditto.
3993
3994 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
3995
3996         * http.c (http_atotm): Update comment.
3997
3998         * main.c (i18n_initialize): Set LC_MESSAGES, not LC_ALL.
3999
4000         * wget.h: Renamed ENABLED_NLS to HAVE_NLS.
4001
4002         * main.c (i18n_initialize): New function.
4003         (main): Use it.
4004
4005         * log.c: Include <unistd.h>.
4006
4007         * retr.c (show_progress): Cast alloca to char *.
4008
4009 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
4010
4011         * version.c: Wget 1.5-b15 is released.
4012
4013 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
4014
4015         * utils.h: Declare file_non_directory_p().
4016
4017 1998-04-03  Hrvoje Niksic  <hniksic@srce.hr>
4018
4019         * main.c (main): It's `tries', not `numtries' now.
4020
4021 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
4022
4023         * init.c (getperms): Removed.
4024
4025 1998-04-01  Tim Charron  <tcharron@interlog.com>
4026
4027         * log.c (logvprintf): Don't use ARGS twice.
4028
4029 1998-04-01  John  <john@futuresguide.com>
4030
4031         * mswindows.c: Cleaned up.
4032
4033 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
4034
4035         * version.c: Wget 1.5-b14 is released.
4036
4037 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
4038
4039         * ftp-opie.c (STRLEN4): New macro.
4040         (btoe): Use it.
4041
4042 1998-04-01  Junio Hamano  <junio@twinsun.com>
4043
4044         * http.c: Document all the Digest functions.
4045
4046 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
4047
4048         * utils.c (file_non_directory_p): Renamed from isfile().
4049
4050         * mswindows.h (S_ISREG): New macro, suggested by Tim Adam.
4051
4052 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
4053
4054         * utils.c (mkdirhier): Use 0777 instead of opt.dirmode.
4055
4056         * init.c (cmd_spec_dotstyle): Use 48 dots per line for binary
4057         style.
4058         (cmd_permissions): Removed.
4059
4060         * config.h.in: Add template for WORDS_BIGENDIAN.
4061
4062 1998-03-31  Junio Hamano  <junio@twinsun.com>
4063
4064         * http.c (HEXD2asc): New macro.
4065         (dump_hash): Use it.
4066
4067 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
4068
4069         * version.c: Wget 1.5-b13 is released.
4070
4071 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
4072
4073         * main.c (main): Don't try to use `com'.
4074
4075 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
4076
4077         * init.c (cmd_permissions): New function.
4078
4079 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
4080
4081         * version.c: Wget 1.5-b12 is released.
4082
4083 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
4084
4085         * init.c (commands): Renamed `numtries' to `tries'.
4086         (cmd_spec_debug): Removed.
4087         (home_dir): Under Windows, return `C:\' if HOME is undefined.
4088
4089 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
4090
4091         * config.h.in: Define _XOPEN_SOURCE.
4092
4093         * init.c (check_user_specified_header): New function.
4094         (cmd_spec_header): Use it.
4095         (cmd_spec_useragent): New function.
4096
4097 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
4098
4099         * version.c: Wget 1.5-b11 is released.
4100
4101 1998-03-28  Hrvoje Niksic  <hniksic@srce.hr>
4102
4103         * wget.h: Include <libintl.h> only if NLS is enabled.
4104
4105 1998-03-26  Hrvoje Niksic  <hniksic@srce.hr>
4106
4107         * options.h (struct options): Made `wait' a long.
4108         (struct options): Ditto for `timeout'.
4109
4110 1998-03-19  Hrvoje Niksic  <hniksic@srce.hr>
4111
4112         * utils.c (exists): Renamed to file_exists_p.
4113         (file_exists_p): Use access() if available.
4114
4115 1998-03-17  Hrvoje Niksic  <hniksic@srce.hr>
4116
4117         * utils.c (memfatal): Set save_log_p to 0 to avoid potential
4118         infloop.
4119
4120         * log.c: do_logging -> save_log_p.
4121
4122         * config.h.in: Added template for HAVE_VSNPRINTF.
4123
4124 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
4125
4126         * init.c: Ditto.
4127
4128         * http.c: Protect declaration against non-ANSI compiler.
4129
4130         * log.c (logvprintf): Use vsnprintf() if available.
4131
4132         * getopt.c (main): Don't translate test stuff.
4133
4134 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
4135
4136         * version.c: Wget 1.5-b10 is released.
4137
4138 1998-03-11  Hrvoje Niksic  <hniksic@srce.hr>
4139
4140         * ftp.c (getftp): Don't translate "CWD %s".
4141
4142         * wget.h (GCC_FORMAT_ATTR): Renamed from FORMAT_ATTR.
4143
4144 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
4145
4146         * ftp-opie.c (btoe): Use memcpy() instead of strncat().
4147
4148         * log.c (logputs): New function.
4149         (logvprintf): Renamed from vlogmsg; use logputs().
4150
4151         * retr.c (show_progress): Print `[100%]' when the retrieval is
4152         finished.
4153
4154         * init.c (run_wgetrc): Use FILE, not PATH.
4155         (wgetrc_file_name): Ditto.
4156
4157 1998-03-07  Tim Adam  <tma@osa.com.au>
4158
4159         * recur.c (parse_robots): Correctly reset `entries' on empty
4160         disallow.
4161
4162 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
4163
4164         * init.c (cmd_spec_debug): Use cmd_boolean().
4165
4166 1998-02-23  Hrvoje Niksic  <hniksic@srce.hr>
4167
4168         * http.c (gethttp): Create proxy-authorization correctly.
4169
4170 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
4171
4172         * md5.c: Ditto.
4173
4174         * getopt.c: Use ANSI function definitions.
4175
4176         * ftp-opie.c: New file.
4177
4178         * options.h: Don't redefine EXTERN.
4179
4180         * init.c: Sort it correctly.
4181
4182 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
4183
4184         * version.c: Wget 1.5-b9 is released.
4185
4186 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
4187
4188         * recur.c (recursive_retrieve): Reset `first_time'.
4189
4190         * ftp.c (getftp): Added `default' clause to switches of uerr_t.
4191
4192         * rbuf.c (rbuf_peek): Simplified.
4193         (rbuf_flush): Use MINVAL.
4194
4195         * wget.h (MINVAL): Moved from url.h.
4196
4197         * rbuf.h (RBUF_FD): New macro.
4198
4199         * url.c (add_url): Add to the head of the list.
4200
4201         * ftp.c (ftp_retrieve_list): Set the permissions to downloaded
4202         file.
4203         (getftp): Set the default permissions to 0600.
4204
4205 1998-02-21  Hrvoje Niksic  <hniksic@srce.hr>
4206
4207         * url.c (get_urls_html): Ditto.
4208         (convert_links): Ditto.
4209
4210         * recur.c (parse_robots): Ditto.
4211
4212         * html.c (ftp_index): Ditto.
4213
4214         * ftp-ls.c (ftp_parse_unix_ls): Open file as binary.
4215
4216         * init.c (defaults): Initialize `opt' to zero via memset.
4217
4218         * http.c (digest_authentication_encode): goto considered harmful.
4219
4220 1998-02-19  Hrvoje Niksic  <hniksic@srce.hr>
4221
4222         * ftp.c (delelement): Simplify and fix leak.
4223
4224 1998-02-18  Hrvoje Niksic  <hniksic@srce.hr>
4225
4226         * http.c (dump_hash): Use HEXD2ASC instead of home-grown stuff.
4227
4228         * url.h (HEXD2ASC): Removed warning.
4229
4230         * init.c (comind): Use binary search.
4231         (commands): Reorganized.
4232         (setval): Ditto.
4233         (cmd_boolean): New function.
4234         (cmd_number): Ditto.
4235         (cmd_number_inf): Ditto.
4236         (cmd_string): Ditto.
4237         (cmd_vector): Ditto.
4238         (cmd_directory_vector): Ditto.
4239         (cmd_bytes): Ditto.
4240         (cmd_time): Ditto.
4241         (cmd_spec_debug): Ditto.
4242         (cmd_spec_dirmode): Ditto.
4243         (cmd_spec_dirstruct): Ditto.
4244         (cmd_spec_dotstyle): Ditto.
4245         (cmd_spec_header): Ditto.
4246         (cmd_spec_htmlify): Ditto.
4247         (cmd_spec_mirror): Ditto.
4248         (cmd_spec_outputdocument): Ditto.
4249         (cmd_spec_recursive): Ditto.
4250         (settime): Merged with cmd_time().
4251         (setbytes): Merged with cmd_bytes().
4252         (setonoff): Merged with cmd_boolean().
4253         (onoff): Ditto.
4254
4255 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
4256
4257         * Makefile.in (distclean): Remove `config.h'.
4258
4259 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
4260
4261         * version.c: Wget 1.5-b8 is released.
4262
4263 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
4264
4265         * http.c (digest_authentication_encode): New function.
4266         (create_authorization_line): Use it.
4267         (dump_hash): New function.
4268         (digest_authentication_encode): Use it.
4269
4270         * fnmatch.c: Renamed from `mtch.c'.
4271
4272 1998-02-15  Karl Eichwalder  <ke@suse.de>
4273
4274         * main.c (main): Tag "Written by..." string as translatable.
4275
4276 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
4277
4278         * wget.h (FREE_MAYBE): New macro.
4279
4280         * http.c (create_authorization_line): Don't use ANSI C string
4281         concatenation feature.
4282         (basic_authentication_encode): Use alloca() for temporary
4283         variables.
4284
4285         * recur.h: Ditto.
4286
4287         * http.c: Ditto.
4288
4289         * headers.h: Ditto.
4290
4291         * ftp-basic.c: Protect declaration against non-ANSI compiler.
4292
4293         * http.c (create_authorization_line): Cast `unsigned char *' to
4294         `char *' for sprintf, to shut up the noisy Digital Unix cc.
4295
4296 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
4297
4298         * version.c: Wget 1.5-b7 is released.
4299
4300 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
4301
4302         * cmpt.c (strstr): Synched with glibc-2.0.6.
4303
4304         * ftp-basic.c (calculate_skey_response): Ditto.
4305         (calculate_skey_response): Use alloca().
4306
4307         * http.c (create_authorization_line): Work with FSF's version of
4308         md5.c.
4309
4310         * md5.c: New file, from GNU libc.
4311
4312 1998-02-14  Hrvoje Niksic  <hniksic@srce.hr>
4313
4314         * url.h (URL_CLEANSE): Name the temporary variable more carefully.
4315
4316 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
4317
4318         * http.c (basic_authentication_encode): New function, instead of
4319         the macro.
4320
4321 1998-02-13  Junio Hamano  <junio@twinsun.com>
4322
4323         * http.c: Add HTTP-DA support.
4324         * ftp-basic.c: Add Opie/S-key support.
4325         * config.h.in, Makefile.in: Add HTTP-DA and Opie/S-key support.
4326         * md5.c, md5.h: New files.
4327
4328 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
4329
4330         * http.c (http_process_range): Renamed from hprocrange().
4331         (http_process_range): Parse the whole header.
4332
4333         * headers.c: New file.
4334         (header_process): New function.
4335         (header_get): Renamed from fetch_next_header.
4336
4337         * all: Include utils.h only where necessary.
4338
4339         * wget.h: Declare xmalloc(), xrealloc() and xstrdup() here.
4340
4341         * wget.h: Add provisions for dmalloc.
4342
4343 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
4344
4345         * version.c: Wget 1.5-b6 is released.
4346
4347 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
4348
4349         * ftp.c (ftp_loop): Determine `filename' more precisely.
4350
4351         * init.c (setval): Don't set `opt.quiet' if output-document is
4352         `-'.
4353
4354         * log.c (log_init): Print to STDERR instead of STDOUT.
4355         (vlogmsg): Use STDERR by default.
4356         (logflush): Ditto.
4357
4358 1998-02-11  Simon Josefsson  <jas@pdc.kth.se>
4359
4360         * host.c: Use addr_in again.
4361
4362 1998-02-08  Karl Eichwalder  <karl@suse.de>
4363
4364         * http.c (gethttp): Fixed typo.
4365
4366 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
4367
4368         * version.c: Wget 1.5-b5 is released.
4369
4370 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
4371
4372         * retr.c (show_progress): Use it.
4373
4374         * log.c (logflush): New function.
4375
4376         * wget.h: Utilize __attribute__ if on gcc.
4377
4378 1998-02-07  Hrvoje Niksic  <hniksic@srce.hr>
4379
4380         * http.c (base64_encode_line): New argument LENGTH.
4381         (BASIC_AUTHENTICATION_ENCODE): Use it.
4382         (BASIC_AUTHENTICATION_ENCODE): Take length of HEADER into account.
4383
4384         * main.c (main): Fixed fprintf() format mismatch.
4385
4386 1998-02-06  Hrvoje Niksic  <hniksic@srce.hr>
4387
4388         * version.c: Wget 1.5-b4 is released.
4389
4390 1998-02-03  Simon Josefsson  <jas@pdc.kth.se>
4391
4392         * host.c: use sockaddr_in instead of addr_in.
4393
4394 1998-02-04  Hrvoje Niksic  <hniksic@srce.hr>
4395
4396         * init.c (cleanup): Use it.
4397
4398         * recur.c (recursive_cleanup): New function.
4399
4400         * retr.c (retrieve_from_file): Ditto.
4401
4402         * main.c (main): Use it.
4403
4404         * recur.c (recursive_reset): New function.
4405
4406         * retr.c (retrieve_from_file): Ditto.
4407
4408         * main.c (main): Simplify call to recursive_retrieve().
4409
4410         * recur.c (recursive_retrieve): Removed FLAGS argument.
4411
4412         * http.c (gethttp): Changed call to iwrite().
4413
4414 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
4415
4416         * url.c (get_urls_html): Ditto.
4417         (free_urlpos): Ditto.
4418         (mkstruct): Ditto.
4419         (construct): Ditto.
4420
4421         * retr.c (retrieve_url): Move declaration of local variables to
4422         smaller scope.
4423
4424         * url.c (urlproto): Use it.
4425         (parseurl): Ditto.
4426         (str_url): Ditto.
4427         (get_urls_html): Ditto.
4428
4429         * utils.h (ARRAY_SIZE): New macro.
4430
4431         * url.c (proto): Moved from url.h.
4432
4433         * url.h (URL_CLEANSE): Reformatted.
4434         (USE_PROXY_P): Renamed from USE_PROXY.
4435
4436         * ftp-basic.c: Adjust to the new interface of iwrite().
4437
4438         * ftp-basic.c (ftp_port): Use alloca().
4439
4440 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
4441
4442         * version.c: Wget 1.5-b3 is released.
4443
4444         * host.c (ftp_getaddress): Don't print to stderr directly.
4445
4446         * init.c (setbytes): Support `g' for gigabytes.
4447         (cmdtype): New specification CTIME.
4448         (setval): Use it with settime().
4449         (commands): Use it for WAIT and TIMEOUT.
4450
4451 1998-02-02  Hrvoje Niksic  <hniksic@srce.hr>
4452
4453         * http.c (BASIC_AUTHENTICATION_ENCODE): New macro.
4454         (gethttp): Use it.
4455
4456         * utils.c (unique_name_1): Moved from url.c.
4457         (unique_name): Ditto.
4458
4459         * url.c (url_filename): Ditto.
4460
4461         * log.c (redirect_output): Changed call to unique_name().
4462
4463         * url.c (unique_name_1): Renamed from unique_name().
4464         (unique_name): Changed interface.
4465
4466         * init.c (enum cmdid): Moved from init.h.
4467         (cmdtype): Ditto.
4468         (struct cmd): Ditto.
4469
4470         * main.c (main): Use it.
4471         (main): Moved `--backups' to not have a short option.
4472
4473         * options.h (struct options): New member BACKGROUND.
4474
4475         * main.c (print_help): Rearranged.
4476         (main): New long options for -n* short options: --no-directories,
4477         --no-host-directories, --non-verbose, --no-host-lookup and
4478         --dont-remove-listing.
4479
4480 1998-02-01  Hrvoje Niksic  <hniksic@srce.hr>
4481
4482         * main.c (main): Use log_close().
4483
4484         * log.c: New variable LOGFP.
4485         (vlogmsg): Use it.
4486         (redirect_output): Don't open /dev/null; set LOGFP to stdin
4487         instead.
4488         (log_close): New function.
4489
4490         * options.h (struct options): Removed LFILE.
4491
4492         * log.c (log_enable): Removed.
4493
4494         * main.c (main): Use it.
4495
4496         * log.c (log_init): New function.
4497
4498         * url.c (get_urls_html): Removed needless assignment to BASE.
4499
4500         * host.c (add_hlist): Don't set CMP needlessly.
4501
4502         * utils.c (match_backwards): Ditto.
4503         (in_acclist): Ditto.
4504
4505         * url.c (findurl): Ditto.
4506
4507         * netrc.c (parse_netrc): Ditto.
4508
4509         * log.c (log_dump): Ditto.
4510
4511         * html.c (html_quote_string): Ditto.
4512
4513         * ftp-basic.c (ftp_request): Made static.
4514
4515         * connect.c: Made global variables static.
4516
4517         * url.c (construct): Ditto.
4518
4519         * init.c (init_path): Avoid assignment inside `if'-condition.
4520
4521         * ftp.c: Don't include in.h or winsock.h.
4522
4523         * ftp.c (ftp_loop): Use SZ.
4524
4525         * connect.c (bindport): Cast &addrlen to int *.
4526         (conaddr): Ditto.
4527
4528         * init.c (initialize): Don't use SYSTEM_WGETRC unconditionally.
4529
4530 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
4531
4532         * ftp.c (getftp): Initialize opt.ftp_pass here.
4533         (ftp_retrieve_dirs): Use alloca().
4534
4535         * init.c (defaults): Don't initialize opt.ftp_pass.
4536
4537         * sysdep.h (S_ISLNK): Declare for OS/2; ditto for lstat.
4538         From Ivan F. Martinez <ivanfm@ecodigit.com.br>.
4539
4540 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
4541
4542         * recur.c (parse_robots): Check for comments more correctly.
4543
4544         * host.c (ftp_getaddress): Use STRDUP_ALLOCA.
4545         (ftp_getaddress): Add diagnostics when reverse-lookup yields only
4546         hostname.
4547
4548 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
4549
4550         * version.c: Wget 1.5-b2 is released.
4551
4552         * netrc.c (NETRC_FILE_NAME): Moved from netrc.h.
4553
4554         * utils.c (proclist): Pass FNM_PATHNAME to fnmatch().
4555
4556         * ftp-basic.c (ftp_pasv): Avoid unnecessary casting to unsigned
4557         char.
4558
4559         * log.c: Don't attempt to hide arguments from ansi2knr.
4560
4561         * cmpt.c: Synched strptime() and mktime() with glibc-2.0.6.
4562
4563         * ansi2knr.c: Use a later version, from fileutils-3.16l alpha.
4564
4565         * ftp.c (getftp): Ditto.
4566
4567         * http.c (gethttp): Use it.
4568
4569         * retr.c (get_contents): New argument EXPECTED; pass it to
4570         show_progress().
4571         (show_progress): New argument EXPECTED; use it to display
4572         percentages.
4573
4574         * init.c (setval): Ditto.
4575
4576         * http.c (gethttp): Ditto.
4577         (http_loop): Ditto.
4578
4579         * ftp.c (getftp): Ditto.
4580         (ftp_loop_internal): Ditto.
4581
4582         * ftp-ls.c (ftp_parse_unix_ls): Use abort() instead of assert(0).
4583
4584         * sysdep.h (CLOSE): Simplify; use DEBUGP.
4585
4586         * netrc.c (search_netrc): Use alloca().
4587
4588         * init.c (defaults): Initialize no_flush.
4589
4590         * log.c (vlogmsg): Don't flush if no_flush.
4591
4592         * options.h (struct options): New variable no_flush.
4593
4594         * main.c (main): Don't play games with buffering.
4595
4596         * log.c (vlogmsg): Flush the output after every message.
4597
4598 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
4599
4600         * init.c (parse_line): Ditto.
4601
4602         * url.c (get_urls_html): Ditto.
4603
4604         * main.c (main): Don't cast to unsigned char.
4605
4606         * init.c (run_wgetrc): Don't cast to unsigned char.
4607         (parse_line): Accept char instead of unsigned char.
4608
4609         * html.c (htmlfindurl): Use char instead of unsigned char.
4610
4611         * all: Use them.
4612
4613         * sysdep.h: Add wrappers to ctype macros to make them
4614         eight-bit-clean:
4615
4616 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
4617
4618         * html.c (htmlfindurl): Download <img lowsrc=...>
4619
4620         * main.c (main): Ignore SIGPIPE.
4621
4622         * connect.c (select_fd): New argument WRITEP.
4623         (iwrite): Call select_fd().
4624
4625 1997-02-27  Fila Kolodny <fila@ibi.com>
4626
4627         * ftp.c (ftp_retrieve_list): If retrieving symlink and the proper
4628         one already exists, just skip it.
4629
4630 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
4631
4632         * http.c (gethttp): Cosmetic changes.
4633
4634         * http.c (check_end): Allow `+D...' instead of `GMT'.
4635         From Fabrizio Pollastri <pollastri@cstv.to.cnr.it>.
4636
4637         * url.c (process_ftp_type): New function.
4638         (parseurl): Use it.
4639
4640         * connect.c (iwrite): Allow writing in a few chunks.
4641         (bindport): Made SRV static, so addr can point to it.
4642         (select_fd): Removed HPUX kludge.
4643
4644         * host.c (free_hlist): Incorporated into clean_hosts().
4645
4646 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
4647
4648         * host.c (hlist): Made static.
4649         (search_address): Cosmetic change.
4650
4651 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
4652
4653         * version.c: Wget v1.5-b1 is released.
4654
4655         * http.c (hgetlen): Use sizeof() to get the header length.
4656         (hgetrange): Ditto.
4657         (hgettype): Ditto.
4658         (hgetlocation): Ditto.
4659         (hgetmodified): Ditto.
4660         (haccepts_none): Ditto.
4661
4662         * main.c (main): Updated `--version' and `--help' output, as per
4663         Francois Pinard's suggestions.
4664
4665         * main.c: Include locale.h; call setlocale(), bindtextdomain() and
4666         textdomain().
4667
4668         * config.h.in: Define stubs for I18N3.
4669
4670         * wget.h: Include libintl.h.
4671
4672 1998-01-28  Hrvoje Niksic  <hniksic@srce.hr>
4673
4674         * url.c (mkstruct): Check for opt.cut_dirs.
4675         (mkstruct): alloca()-te more, xmalloc() less.
4676
4677         * utils.c (load_file): Check for ferror().
4678
4679         * url.c (get_urls_file): Close only the files we opened.
4680         (get_urls_html): Ditto.
4681         (count_slashes): New function.
4682
4683         * http.h: Removed.
4684
4685         * http.c (gethttp): Respect username and password provided by
4686         proxy URL.
4687         (base64_encode_line): Write into an existing buffer instead of
4688         malloc-ing a new one.
4689         (struct http_stat): Moved from http.h
4690
4691         * retr.c (retrieve_url): Free SUF.
4692
4693         * all: Removed lots of unnecessary .h dependencies.
4694
4695         * html.c (global_state): Made static.
4696
4697         * utils.h (ALLOCA_ARRAY): New macro.
4698
4699         * main.c (main): New option `--cut-dirs'.
4700
4701         * url.c (construct): Use alloca() for T.
4702
4703         * utils.c (mkdirhier): Use STRDUP_ALLOCA.
4704
4705         * host.c (_host_t): Moved from host.h.
4706         (struct host): Renamed from _host_t.
4707         (store_hostaddress): Use STRDUP_ALLOCA for INET_S.
4708         (realhost): Ditto.
4709
4710         * host.h: Don't include url.h.
4711
4712         * ftp.c (LIST_FILENAME): Moved from ftp.h.
4713
4714         * init.c (DEFAULT_FTP_ACCT): Moved from ftp.h.
4715
4716         * main.c (main): Enable log if the output goes to a TTY.
4717
4718         * connect.h: Removed unused constant `BACKLOG'.
4719
4720         * config.h.in: Check for isatty().
4721
4722         * Makefile.in (LINK): Use CFLAGS when linking.
4723
4724 1998-01-27  Hrvoje Niksic  <hniksic@srce.hr>
4725
4726         * mswindows.c (ws_hangup): Use redirect_output().
4727
4728         * main.c (redirect_output_signal): New function; use
4729         redirect_output().
4730
4731         * log.c (redirect_output): New function, based on hangup(), which
4732         is deleted.
4733
4734         * log.c (vlogmsg): New function.
4735
4736         * wget.h (DEBUGP): Use debug_logmsg().
4737
4738         * main.c (hangup): Use it.
4739
4740         * log.c (log_dump): New function.
4741
4742         * utils.h (DO_REALLOC): Use `long' for various sizes.
4743
4744         * http.c (hskip_lws): Use `while', for clarity.
4745         (HTTP_DYNAMIC_LINE_BUFFER): New constant.
4746         (fetch_next_header): Use it instead of DYNAMIC_LINE_BUFFER.
4747
4748         * ftp-basic.c (FTP_DYNAMIC_LINE_BUFFER): New constant.
4749         (ftp_response): Use it instead of DYNAMIC_LINE_BUFFER.
4750
4751         * utils.c (DYNAMIC_LINE_BUFFER): Moved from utils.c.
4752         (LEGIBLE_SEPARATOR): Ditto.
4753         (FILE_BUFFER_SIZE): Ditto.
4754
4755         * retr.c (BUFFER_SIZE): Moved from retr.h.
4756
4757         * log.c: New file.
4758         (logmsg): Moved from utils.c.
4759         (debug_logmsg): New function.
4760
4761         * mswindows.h: Include it here.
4762
4763         * init.c: Ditto.
4764
4765         * utils.c: Don't include <windows.h>.
4766
4767 1998-01-25  Hrvoje Niksic  <hniksic@srce.hr>
4768
4769         * host.c (ftp_getaddress): Ditto.
4770
4771         * main.c (main): Use it.
4772
4773         * utils.h (STRDUP_ALLOCA): New macro.
4774
4775         * init.c: Prepend `wget: ' to error messages printed on stderr.
4776
4777         * utils.c (mkdirhier): Renamed from mymkdir.
4778         (touch): Renamed from my_touch.
4779         (pwd_cuserid): Renamed from my_cuserid().
4780
4781 1998-01-24  Andy Eskilsson  <andy.eskilsson@telelogic.se>
4782
4783         * utils.c (accdir): Process wildcards.
4784         (proclist): New function.
4785         (accdir): Use it to avoid code repetition.
4786
4787 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
4788
4789         * recur.c (parse_robots): Respect opt.useragent; use alloca().
4790
4791         * http.c (gethttp): Construct useragent accordingly.
4792
4793         * version.c: Changed version string to numbers-only.
4794
4795         * main.c (print_help): List all the options.
4796
4797         * mswindows.c (windows_main_junk): Initialize argv0 here.
4798
4799 1998-01-24  Karl Heuer  <kwzh@gnu.org>
4800
4801         * netrc.c (search_netrc): Initialize `l' only after processing
4802         netrc.
4803
4804         * main.c (main): Don't trap SIGHUP if it's being ignored.
4805
4806 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
4807
4808         * all: Use logmsg().
4809
4810         * utils.c (time_str): Moved from retr.c.
4811         (logmsg): New function.
4812         (logmsg_noflush): Ditto.
4813
4814         * rbuf.c: New file, moved buf_* functions here.
4815
4816         * ftp.c (ftp_expected_bytes): Moved from ftp-basic.c.
4817
4818         * ftp-basic.c (ftp_rest): Use prnum().
4819
4820         * ftp-basic.c: Ditto.
4821
4822         * ftp.c: Use the new reading functions and macros.
4823
4824         * retr.c (buf_initialize): New function.
4825         (buf_initialized_p): Ditto.
4826         (buf_uninitialize): Ditto.
4827         (buf_fd): Ditto.
4828
4829         * http.c (fetch_next_header): Use the BUF_READCHAR macro for
4830         efficiency.
4831         (gethttp): Use alloca() where appropriate.
4832
4833         * retr.c (buf_readchar): Use it.
4834         (buf_peek): Use rstreams.
4835
4836         * retr.h (BUF_READCHAR): New macro.
4837
4838         * init.c (home_dir): Rewritten for clarity.
4839         (init_path): Ditto.
4840
4841         * mswindows.c (ws_backgnd): Made static.
4842         (read_registry): Ditto.
4843         (ws_cleanup): Ditto.
4844         (ws_handler): Ditto.
4845
4846 1998-01-23  Hrvoje Niksic  <hniksic@srce.hr>
4847
4848         * alloca.c: New file.
4849
4850         * Makefile.in (ALLOCA): Define.
4851
4852         * mswindows.c (ws_help): Constify.
4853         (ws_help): Use alloca.
4854
4855         * mswindows.c: Reformat.
4856
4857         * all: Added _(...) annotations for I18N snarfing and translation.
4858
4859         * host.c (ftp_getaddress): Nuke SYSINFO.
4860         (ftp_getaddress): Don't use getdomainname().
4861         (ftp_getaddress): Use uname(), where available.
4862
4863         * http.c (gethttp): Protect a stray fprintf().
4864
4865         * init.c (settime): New function.
4866         (setval): Treat WAIT specially, allowing suffixes like `m' for
4867         minutes, etc.
4868
4869 1998-01-21  Hrvoje Niksic  <hniksic@srce.hr>
4870
4871         * url.c (get_urls_html): Use alloca() for TEMP.
4872
4873 1998-01-21  Jordan Mendelson  <jordy@wserv.com>
4874
4875         * url.c (rotate_backups): New function.
4876
4877         * http.c (gethttp): Ditto.
4878
4879         * ftp.c (getftp): Rotate backups.
4880
4881 1997-12-18  Hrvoje Niksic  <hniksic@srce.hr>
4882
4883         * all: Renamed nmalloc(), nrealloc() and nstrdup() to xmalloc(),
4884         xrealloc() and xstrdup().  Use the new functions.
4885
4886         * url.c (decode_string): Made static.
4887         (has_proto): Ditto.
4888         (parse_dir): Ditto.
4889         (parse_uname): Ditto.
4890         (mkstruct): Ditto.
4891         (construct): Ditto.
4892         (construct_relative): Ditto.
4893
4894         * retr.c (show_progress): Made static.
4895
4896         * recur.c (robots_url): Made static.
4897         (retrieve_robots): Ditto.
4898         (parse_robots): Ditto.
4899         (robots_match): Ditto.
4900
4901         * main.h: Removed.
4902
4903         * main.c (printhelp): Made static.
4904         (hangup): Ditto.
4905
4906         * init.c (comind): Made static.
4907         (defaults): Ditto.
4908         (init_path): Ditto.
4909         (run_wgetrc): Ditto.
4910         (onoff): Ditto.
4911         (setonoff): Ditto.
4912         (setnum): Ditto.
4913         (myatoi): Ditto.
4914         (getperms): Ditto.
4915         (setbytes): Ditto.
4916
4917         * http.c (fetch_next_header): Made static.
4918         (hparsestatline): Ditto.
4919         (hskip_lws): Ditto.
4920         (hgetlen): Ditto.
4921         (hgetrange): Ditto.
4922         (hgettype): Ditto.
4923         (hgetlocation): Ditto.
4924         (hgetmodified): Ditto.
4925         (haccepts_none): Ditto.
4926         (gethttp): Ditto.
4927         (base64_encode_line): Ditto.
4928         (mktime_from_utc): Ditto.
4929         (http_atotm): Ditto.
4930
4931         * html.c (idmatch): Made static.
4932
4933         * host.c (search_host): Made static.
4934         (search_address): Ditto.
4935         (free_hlist): Ditto.
4936
4937         * ftp.c (getftp): Made static.
4938         (ftp_loop_internal): Ditto.
4939         (ftp_get_listing): Ditto.
4940         (ftp_retrieve_list): Ditto.
4941         (ftp_retrieve_dirs): Ditto.
4942         (ftp_retrieve_glob): Ditto.
4943         (freefileinfo): Ditto.
4944         (delelement): Ditto.
4945
4946         * ftp-ls.c (symperms): Made static.
4947         (ftp_parse_unix_ls): Ditto.
4948
4949         * connect.c (select_fd): Made static.
4950
4951         * utils.c (xmalloc): Renamed from nmalloc.
4952         (xrealloc): Renamed from nrealloc.
4953         (xstrdup): Renamed from nstrdup.
4954
4955         * getopt.c (exchange): Use alloca.
4956
4957         * mswindows.c (mycuserid): Use strncpy.
4958
4959         * New files mswindows.c, mswindows.h, sysdep.h.  winjunk.c,
4960         systhings.h, windecl.h and winjunk.h removed.
4961
4962         * mswindows.c (sleep): New function.
4963
4964         * utils.c: Include <windows.h> under Windows.
4965
4966 1997-06-12  Darko Budor  <dbudor@zesoi.fer.hr>
4967
4968         * url.h (URL_UNSAFE): Change default under Windows.
4969
4970         * retr.c (retrieve_from_file): Respect opt.delete_after.
4971
4972         * main.c (main): Call ws_help on Windows.
4973
4974         * winjunk.c (windows_main_junk): New function.
4975
4976         * main.c (main): Junk-process argv[0].
4977
4978         * http.c (mktime_from_utc): Return -1 if mktime failed.
4979
4980         * http.c (http_loop): Ditto.
4981
4982         * ftp.c (ftp_loop_internal): Change title on Windows when using a
4983         new URL.
4984
4985         * winjunk.c (getdomainname): Lots of functions.
4986
4987 1997-06-12  Hrvoje Niksic  <hniksic@srce.hr>
4988
4989         * cmpt.c (strptime_internal): Handle years more correctly for
4990         `%y'.
4991
4992 1997-06-09  Mike Thomas <mthomas@reality.ctron.com>
4993
4994         * http.c (gethttp): Allocate enough space for
4995         `Proxy-Authorization' header.
4996
4997 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
4998
4999         * version.c: Wget/1.4.5 is released.
5000
5001 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
5002
5003         * retr.c (get_contents): Check return value of fwrite more
5004         carefully.
5005
5006 1997-03-30  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
5007
5008         * cmpt.c (strptime_internal) [case 'Y']: Always subtract 1900 from
5009         year, regardless of century.
5010
5011 1997-03-30  Hrvoje Niksic  <hniksic@srce.hr>
5012
5013         * utils.c (isfile): Use `lstat' instead of `stat'.
5014
5015 1997-03-29  Hrvoje Niksic  <hniksic@srce.hr>
5016
5017         * utils.c (numdigit): Use explicit test.
5018
5019 1997-03-21  Hrvoje Niksic  <hniksic@srce.hr>
5020
5021         * http.c (http_loop): Always use `url_filename' to get u->local.
5022
5023 1997-03-20  Hrvoje Niksic  <hniksic@srce.hr>
5024
5025         * url.c: Recognize https.
5026
5027 1997-03-13  Hrvoje Niksic  <hniksic@srce.hr>
5028
5029         * recur.c (recursive_retrieve): Lowercase just the host name.
5030
5031 1997-03-09  Hrvoje Niksic  <hniksic@srce.hr>
5032
5033         * url.c (get_urls_file): Use the correct test.
5034         (get_urls_html): Ditto.
5035
5036 1997-03-07  Hrvoje Niksic  <hniksic@srce.hr>
5037
5038         * connect.c: Reverted addrlen to int.
5039
5040         * init.c (parse_line): Check for -1 instead of NONE.
5041
5042         * version.c: Changed version to 1.4.5.
5043
5044 1997-02-17  Hrvoje Niksic  <hniksic@srce.hr>
5045
5046         * init.c: New option netrc.
5047         (initialize): Don't parse .netrc.
5048
5049         * cmpt.c (recursive): Return rp.
5050         (strptime_internal): Match the long strings first, the abbreviated
5051         second.
5052
5053 1997-02-16  Hrvoje Niksic  <hniksic@srce.hr>
5054
5055         * http.c (check_end): New function.
5056         (http_atotm): Use it.
5057
5058 1997-02-13  gilles Cedoc  <gilles@cedocar.fr>
5059
5060         * http.c (gethttp): Use them.
5061
5062         * init.c: New options proxy_user and proxy_passwd.
5063
5064 1997-02-14  Hrvoje Niksic  <hniksic@srce.hr>
5065
5066         * ftp.c (ftp_retrieve_list): Create links even if not relative.
5067
5068 1997-02-10  Hrvoje Niksic  <hniksic@srce.hr>
5069
5070         * recur.c (recursive_retrieve): Lowercase the host name, if the
5071         URL is not "optimized".
5072
5073         * host.c (realhost): Return l->hostname, even if it matches with
5074         host.
5075
5076 1997-02-10  Marin Purgar  <pmc@asgard.hr>
5077
5078         * connect.c: Make addrlen size_t instead of int.
5079         (conaddr): Ditto.
5080
5081 1997-02-09  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
5082
5083         * systhings.h: Define S_ISLNK on NeXT too.
5084
5085 1997-02-09  Hrvoje Niksic  <hniksic@srce.hr>
5086
5087         * version.c: Released 1.4.3.
5088
5089         * url.c: Futher update to list of protostrings.
5090         (skip_proto): Skip `//' correctly for FTP and HTTP.
5091
5092         * url.c (get_urls_html): Handle bogus `http:' things a little
5093         different.
5094
5095         * main.c (main): Removed `follow-ftp' from `f'.
5096         (main): Dumped the `prefix-files' and `file-prefix' options and
5097         features; old and bogus.
5098         (main): Exit on failed setval() in `-e'.
5099
5100         * http.c (fetch_next_header): Use it to detect header continuation
5101         correctly.
5102
5103         * retr.c (buf_peek): New function.
5104
5105 1997-02-08  Hrvoje Niksic  <hniksic@srce.hr>
5106
5107         * wget.h: Include time.h and stuff.
5108
5109 1997-02-08  Roger Beeman  <beeman@cisco.com>
5110
5111         * ftp.c: Include <time.h>
5112
5113 1997-02-07  Hrvoje Niksic  <hniksic@srce.hr>
5114
5115         * url.c (findurl): Would read over buffer limits.
5116
5117 1997-02-06  Hrvoje Niksic  <hniksic@srce.hr>
5118
5119         * ftp-ls.c (ftp_parse_unix_ls): Allow spaces in file names.
5120
5121 1997-02-05  Hrvoje Niksic  <hniksic@srce.hr>
5122
5123         * http.c (http_atotm): Initialize tm.is_dst.
5124
5125 1997-02-02  Hrvoje Niksic  <hniksic@srce.hr>
5126
5127         * http.c (gethttp): Don't print the number of retrieved headers.
5128
5129         * main.c (main): New option `--no-clobber', alias for `-nc'.
5130
5131         * url.c: Recognize `https://'.
5132
5133 1997-02-01  Hrvoje Niksic  <hniksic@srce.hr>
5134
5135         * host.c (herrmsg): Don't use h_errno.
5136
5137 1997-01-30  Hrvoje Niksic  <hniksic@srce.hr>
5138
5139         * host.c (accept_domain): Use it.
5140
5141         * main.c (main): New option `--exclude-domains'.
5142
5143         * retr.c (retrieve_url): Use it.
5144         (retrieve_url): Bail out when an URL is redirecting to itself.
5145
5146         * url.c (url_equal): New function.
5147
5148 1997-01-29  Hrvoje Niksic  <hniksic@srce.hr>
5149
5150         * connect.c: Include arpa/inet.h instead of arpa/nameser.h.
5151
5152         * http.c (mk_utc_time): New function.
5153         (http_atotm): Use it; handle time zones correctly.
5154
5155 1997-01-28  Hrvoje Niksic  <hniksic@srce.hr>
5156
5157         * http.c: Ditto.
5158
5159         * ftp-basic.c: Use it instead of WRITE.
5160
5161         * connect.c (iwrite): New function.
5162
5163 1997-01-27  Hrvoje Niksic  <hniksic@srce.hr>
5164
5165         * cmpt.c (mktime): New function.
5166
5167         * netrc.c: Include <sys/types.h>.
5168
5169         * main.c (main): Wouldn't recognize --spider.
5170
5171         * retr.c (rate): Use `B', `KB' and `MB'.
5172         (reset_timer,elapsed_time): Moved from utils.c.
5173
5174         * ftp.c (ftp_retrieve_list): Ditto.
5175
5176         * http.c (http_loop): Don't touch the file if opt.dfp.
5177
5178 1997-01-24  Hrvoje Niksic  <hniksic@srce.hr>
5179
5180         * cmpt.c: New file.
5181
5182         * ftp.c (ftp_retrieve_glob): New argument semantics.
5183         (ftp_retrieve_dirs): Use it.
5184         (ftp_loop): Ditto.
5185
5186         * html.c (htmlfindurl): Recognize `'' as the quote char.
5187
5188 1997-01-23  Hrvoje Niksic  <hniksic@srce.hr>
5189
5190         * ftp.c (ftp_loop_internal): Use it.
5191
5192         * utils.c (remove_link): New function.
5193
5194 1997-01-22  Hrvoje Niksic  <hniksic@srce.hr>
5195
5196         * retr.c (retrieve_url): Require STRICT redirection URL.
5197
5198         * url.c (parseurl): New argument STRICT.
5199
5200         * http.c (hparsestatline): Be a little-bit less strict about
5201         status line format.
5202
5203 1997-01-21  Hrvoje Niksic  <hniksic@srce.hr>
5204
5205         * http.c (gethttp): Use it.
5206
5207         * main.c (main): Don't use '<digit>' as options.
5208
5209         * init.c: New option ignore_length.
5210
5211         * http.c (gethttp): Ditto.
5212         (http_loop): Check for redirection without Location:.
5213         (gethttp): Don't print Length unless RETROKF.
5214
5215         * ftp.c (getftp): Use it.
5216
5217         * url.c (mkalldirs): New function.
5218
5219         * utils.c (mymkdir): Don't check for existing non-directory.
5220
5221         * url.c (mkstruct): Don't create the directory.
5222
5223 1997-01-20  Hrvoje Niksic  <hniksic@srce.hr>
5224
5225         * init.c (setval): Removed NO_RECURSION checks.
5226
5227 1997-01-19  Hrvoje Niksic  <hniksic@srce.hr>
5228
5229         * version.c: "Released" 1.4.3-pre2.
5230
5231         * recur.c (recursive_retrieve): Bypass host checking only if URL
5232         is ftp AND parent URL is not ftp.
5233
5234         * ftp-basic.c (ftp_request): Print out Turtle Power.
5235
5236         * ftp.c (ftp_loop): Call ftp_retrieve_glob with 0 if there's no
5237         wildcard.
5238         (ftp_retrieve_glob): Call ftp_loop_internal even on empty list, if
5239         not glob.
5240
5241         * http.c (gethttp): Be a little bit smarter about status codes.
5242
5243         * recur.c (recursive_retrieve): Always reset opt.recursive when
5244         dealing with FTP.
5245
5246 1997-01-18  Hrvoje Niksic  <hniksic@srce.hr>
5247
5248         * retr.c (retrieve_url): New variable location_changed; use it for
5249         tests instead of mynewloc.
5250         (retrieve_url): Allow heuristic adding of html.
5251
5252         * url.c (url_filename): Don't use the `%' in Windows file names.
5253
5254         * http.c (http_loop): Always time-stamp the local file.
5255
5256         * http.c (http_loop): Ditto.
5257
5258         * ftp.c (ftp_retrieve_list): Use it.
5259
5260         * utils.c (my_touch): New function.
5261
5262         * ftp.c (ftp_retrieve_list): Use #ifdef HAVE_STRUCT_UTIMBUF
5263         instead of #ifndef NeXT.
5264
5265         * utils.c (strptime): New version, by Ulrich Drepper.
5266
5267 1997-01-17  Hrvoje Niksic  <hniksic@srce.hr>
5268
5269         * http.c (haccepts_none): Renamed from `haccepts_bytes'.
5270         (gethttp): If haccepts_none(), disable ACCEPTRANGES.
5271         (http_loop): Would remove ACCEPTRANGES.
5272
5273         * ftp.c (getftp): Call ftp_list with NULL.
5274
5275 1997-01-15  Hrvoje Niksic  <hniksic@srce.hr>
5276
5277         * html.c (ftp_index): Don't print minutes and seconds if we don't
5278         know them; beautify the output.
5279
5280         * ftp.c (getftp): Don't close the socket on FTPNSFOD.
5281
5282 1997-01-14  Hrvoje Niksic  <hniksic@srce.hr>
5283
5284         * utils.c (strptime): New function.
5285         (strptime): Don't use get_alt_number.
5286         (strptime): Don't use locale.
5287         (match_string): Made it a function.
5288
5289 1997-01-12  Hrvoje Niksic  <hniksic@srce.hr>
5290
5291         * http.c (http_atotm): New function.
5292         (http_loop): Use it.
5293
5294         * atotm.c: Removed from the distribution.
5295
5296         * http.c (base64_encode_line): Rewrite.
5297
5298 1997-01-09  Hrvoje Niksic  <hniksic@srce.hr>
5299
5300         * ftp.c (getftp): Use ftp_expected_bytes; print size.
5301
5302         * ftp-basic.c (ftp_response): Use ftp_last_respline.
5303         (ftp_expected_bytes): New function.
5304
5305         * ftp.c (getftp): Print the unauthoritative file length.
5306
5307         * ftp-ls.c: Renamed from ftp-unix.c.
5308         (ftp_parse_ls): Moved from ftp.c.
5309         (ftp_parse_unix_ls): Recognize seconds in time spec.
5310         (ftp_parse_unix_ls): Recognize year-less dates of the previous
5311         year.
5312
5313 1997-01-08  Hrvoje Niksic  <hniksic@srce.hr>
5314
5315         * ftp-basic.c: Don't declare errno if #defined.
5316
5317         * host.c (ftp_getaddress): Check for sysinfo legally.
5318
5319 1997-01-08  Darko Budor  <dbudor@diana.zems.fer.hr>
5320
5321         * connect.c (iread): Use READ.
5322
5323 1996-12-23  Hrvoje Niksic  <hniksic@srce.hr>
5324
5325         * url.c: Recognize finger, rlogin, tn3270, mid and cid as valid
5326         schemes.
5327
5328 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
5329
5330         * host.c (ftp_getaddress): Allow `.' in hostname.
5331
5332 1996-12-26  Darko Budor <dbudor@zems.fer.hr>
5333
5334         * wget.h: READ and WRITE macros for use instead of read and write
5335         on sockets, grep READ *.c, grep WRITE *.c
5336
5337         * wsstartup.c: new file - startup for winsock
5338
5339         * wsstartup.h: new file
5340
5341         * win32decl.h: new file - fixup for <errno.h> and winsock trouble
5342
5343         * configure.bat: Configure utility for MSVC
5344
5345         * src/Makefile.ms,config.h.ms: new files for use with MSVC 4.x
5346
5347 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
5348
5349         * version.c: Released 1.4.3-pre.
5350
5351         * utils.c (prnum): Accept long.
5352         (legible): Use prnum().
5353
5354         * connect.c (make_connection): Accept port as short.
5355         (bindport): Ditto.
5356
5357         * http.c (gethttp): Use search_netrc.
5358
5359 1996-12-21  Hrvoje Niksic  <hniksic@srce.hr>
5360
5361         * ftp.c (getftp): Use search_netrc.
5362
5363         * netrc.c (free_netrc): New function.
5364
5365         * init.c (home_dir): New function.
5366
5367         * url.c (convert_links): Allow REL2ABS changes.
5368
5369 1996-12-21  Gordon Matzigkeit  <gord@gnu.ai.mit.edu>
5370
5371         * netrc.c: New file.
5372         (parse_netrc, maybe_add_to_list): New functions.
5373
5374 1996-12-17  Hrvoje Niksic  <hniksic@srce.hr>
5375
5376         * retr.c (retrieve_url): Reset opt.recursion before calling
5377         ftp_loop if it is reached through newloc.
5378
5379         * init.c (run_wgetrc): Print the wgetrc path too, when reporting
5380         error; don't use "Syntax error", since we don't know if it is
5381         really a syntax error.
5382
5383 1996-12-16  Hrvoje Niksic  <hniksic@srce.hr>
5384
5385         * utils.c (acceptable): Extract the filename part of the path.
5386
5387         * recur.c (recursive_retrieve): Call acceptable() with the right
5388         argument; would bug out on wildcards.
5389
5390         * init.c (parse_line): Likewise.
5391
5392         * html.c (htmlfindurl): Cast to char * when calling stuff.
5393
5394 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
5395
5396         * ftp.c (getftp): Use ftp_pasv.
5397
5398         * ftp-basic.c (ftp_request): Accept NULL value.
5399         (ftp_pasv): New function.
5400
5401         * options.h (struct options): Add passive FTP option.
5402
5403 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
5404
5405         * url.c (parseurl): Debug output.
5406
5407         * utils.c (path_simplify): New one, adapted from bash's
5408         canonicalize_pathname().
5409
5410 1996-12-14  Hrvoje Niksic  <hniksic@srce.hr>
5411
5412         * ftp.c (getftp): Don't discard the buffer.
5413
5414         * retr.c (get_contents): New parameter nobuf.
5415
5416 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
5417
5418         * html.c (htmlfindurl): Recognize <meta contents="d; URL=...".
5419
5420         * init.c (setval): Strip the trailing slashes on CVECDIR.
5421
5422 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
5423
5424         * init.c: Make excludes and includes under CVECDIR instead of
5425         CVEC.
5426
5427 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
5428
5429         * url.c (get_urls_html): Skip "http:".
5430
5431 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
5432
5433         * utils.c (strcasecmp): From glibc.
5434         (strncasecmp): Also.
5435         (strstr): Also.
5436
5437         * url.c: Added javascript: to the list of URLs prefixes.
5438
5439 1996-12-12  Shawn McHorse  <riffraff@txdirect.net>
5440
5441         * recur.c (retrieve_robots): Print the warning message only if
5442         verbose.
5443
5444 1996-12-12  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
5445
5446         * ftp.c (ftp_retrieve_list): Use NeXT old utime interface.
5447
5448 1996-12-12  Hrvoje Niksic  <hniksic@srce.hr>
5449
5450         * systhings.h: New file.
5451
5452         * ../configure.in: Check for utime.h
5453
5454         * ftp.c: Check whether we have unistd.h.
5455
5456 1996-11-27  Hrvoje Niksic  <hniksic@srce.hr>
5457
5458         * recur.c (recursive_retrieve): Send the canonical URL as referer.
5459         (recursive_retrieve): Call get_urls_html with the canonical URL.
5460
5461 1996-12-13  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
5462
5463         * (configure.in, config.h.in, src/Makefile.in, src/*.[ch]): Add
5464         ansi2knr support for compilers which don't support ANSI style
5465         function prototypes and signatures.
5466
5467         * (aclocal.m4, src/ansi2knr.c, src/ansi2knr.1): New files.
5468
5469 1996-11-26  Hrvoje Niksic  <hniksic@srce.hr>
5470
5471         * url.c: Use it; Recognize paths ending with "." and ".." as
5472         directories.
5473         (url_filename): Append .n whenever file exists and could be a
5474         directory.
5475
5476         * url.h (ISDDOT): New macro.
5477
5478         * init.c (parse_line): Use unsigned char.
5479
5480         * url.c (get_urls_html): Cast to unsigned char * when calling
5481         htmlfindurl.
5482
5483         * html.c (htmlfindurl): Use unsigned char.
5484
5485         * version.c: Changed version to 1.4.3.
5486
5487 1996-11-25  Hrvoje Niksic  <hniksic@srce.hr>
5488
5489         * version.c: Released 1.4.2.
5490
5491         * ftp.c (getftp): Simplified assertion.
5492         (ftp_loop_internal): Remove symlink before downloading.
5493         (ftp_retrieve_list): Unlink the symlink name before attempting to
5494         create a symlink!
5495
5496         * options.h (struct options): Renamed print_server_response to
5497         server_response.
5498
5499         * ftp.c (rel_constr): Removed.
5500         (ftp_retrieve_list): Don't use it.
5501         (ftp_retrieve_list): Use opt.retr_symlinks.
5502
5503 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
5504
5505         * main.c (main): New option retr_symlinks.
5506
5507         * url.c (convert_links): Print verbose message.
5508
5509 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
5510
5511         * http.c (http_loop): Reset newloc in the beginning of function;
5512         would cause FMR in retrieve_url.
5513
5514 1996-11-23  Hrvoje Niksic  <hniksic@srce.hr>
5515
5516         * recur.c (convert_all_links): Find the URL of each HTML document,
5517         and feed it to get_urls_html; would bug out.
5518         (convert_all_links): Check for l2 instead of dl; removed dl.
5519
5520         * url.c (convert_links): Don't refer to freed newname.
5521
5522         * recur.c (recursive_retrieve): Add this_url to urls_downloaded.
5523
5524         * main.c (main): Print the OS_TYPE in the debug output, too.
5525
5526         * recur.c (recursive_retrieve): Check for opt.delete_after.
5527
5528         * main.c (main): New option delete-after.
5529
5530         * init.c (setval): Cleaned up.
5531
5532 1996-11-21  Hrvoje Niksic  <hniksic@srce.hr>
5533
5534         * Makefile.in (wget): Make `wget' the default target.
5535
5536         * ftp.c (ftp_loop_internal): Move noclobber checking out of the
5537         loop.
5538         (ftp_retrieve_list): Warn about non-matching sizes.
5539
5540         * http.c (http_loop): Made -nc non-dependent on opt.recursive.
5541
5542         * init.c (setnum): Renamed from setnuminf; New argument flags.
5543         (setval): Use it.
5544
5545         * main.c (main): Sorted the options.
5546         (main): New option --wait.
5547
5548 1996-11-21  Shawn McHorse  <riffraff@txdirect.net>
5549
5550         * html.c (htmlfindurl): Reset s->in_quote after getting out of
5551         quotes.
5552
5553 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
5554
5555         * version.c: Changed version to 1.4.2.
5556
5557 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
5558
5559         * version.c: Released 1.4.1.
5560
5561         * html.c (html_quote_string): New function.
5562         (ftp_index): Use it.
5563         (htmlfindurl): A more gentle ending debug message.
5564
5565         * ftp.c (ftp_loop): Check for opt.htmlify.
5566
5567         * init.c: New command htmlify.
5568
5569         * ftp.c (getftp): Nicer error messages, with `'-encapsulated
5570         strings.
5571         (ftp_loop): Print size of index.html.
5572
5573         * init.c (setval): Implement "styles".
5574
5575         * main.c (main): New option dotstyle.
5576
5577 1996-11-19  Hrvoje Niksic  <hniksic@srce.hr>
5578
5579         * ftp.c (getftp): Close the master socket in case of errors, after
5580         bindport().
5581
5582         * connect.c (bindport): Initialize msock to -1.
5583
5584         * ftp.c (getftp): Initialize dtsock to -1.
5585
5586         * connect.c (closeport): Don't close sock if sock == -1.
5587
5588 1996-11-18  Hrvoje Niksic  <hniksic@srce.hr>
5589
5590         * init.c (setnuminf): Nuked default value -- just leave unchanged.
5591         (setval): Don't send default values.
5592         (defaults): Use DEFAULT_TIMEOUT -- aaargh.
5593
5594         * options.h (struct options): Use long for dot_bytes.
5595
5596         * init.c (setquota): Renamed to setbytes.
5597         (setval): Use setbytes on DOTBYTES.
5598
5599 1996-11-17  Hrvoje Niksic  <hniksic@srce.hr>
5600
5601         * ftp.c (getftp): Initialize con->dltime.
5602
5603         * recur.c (recursive_retrieve): Use same_host instead of
5604         try_robots; simply load robots_txt whenever the host is changed.
5605         (recursive_retrieve): Free forbidden before calling parse_robots.
5606
5607 1996-11-16  Hrvoje Niksic  <hniksic@srce.hr>
5608
5609         * retr.c (show_progress): Use them.
5610
5611         * options.h (struct options): New options dot_bytes, dots_on_line
5612         and dot_spacing.
5613
5614 1996-11-16  Mark Boyns  <boyns@sdsu.edu>
5615
5616         * recur.c (recursive_retrieve): Retrieve directories regardless of
5617         acc/rej rules; check for empty u->file.
5618
5619 1996-11-14  Hrvoje Niksic  <hniksic@srce.hr>
5620
5621         * init.c (setval): Use it.
5622
5623         * utils.c (merge_vecs): New function.
5624
5625         * init.c (setval): Reset the list-type functions when encountering
5626         "".
5627
5628 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
5629
5630         * recur.c (recursive_retrieve): Use base_url instead of this_url
5631         for no_parent.
5632
5633 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
5634
5635         * html.c (htmlfindurl): Reset s->in_quote after exiting the quote.
5636
5637 1996-11-13  Hrvoje Niksic  <hniksic@srce.hr>
5638
5639         * utils.c (sepstring): Rewrote; don't use strtok.
5640
5641         * recur.c (recursive_retrieve): Enter assorted this_url to slist
5642         when running the first time.
5643         (retrieve_robots): Warn to ignore errors when robots are loaded.
5644
5645         * utils.c (load_file): Moved from url.c.
5646
5647         * http.c: Made static variables const too in h* functions.
5648
5649         * main.c (main): Renamed --continue-ftp to --continue.
5650
5651         * recur.c (recursive_retrieve): Use it.
5652
5653         * utils.c (frontcmp): New function.
5654
5655         * url.c (accdir): New function.
5656
5657         * html.c (htmlfindurl): Recognize <area href=...>.
5658
5659         * ftp.c (ftp_retrieve_dirs): Implemented opt.includes.
5660
5661         * init.c (setval): Free the existing opt.excludes and
5662         opt.includes, if available.
5663
5664         * main.c (main): New option -I.
5665
5666 1996-11-12  Hrvoje Niksic  <hniksic@srce.hr>
5667
5668         * ftp.c (ftp_retrieve_glob): Do not weed out directories.
5669
5670         * version.c: Changed version to 1.4.1.
5671
5672 1996-11-11  Hrvoje Niksic  <hniksic@srce.hr>
5673
5674         * version.c: Released 1.4.0.
5675
5676 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
5677
5678         * main.c (main): Free com and val after parse_line.
5679         (printhelp): Reorder the listing.
5680
5681         * http.c: More robust header parsing.
5682
5683         * http.c: Allow any number of spaces, or no spaces, precede ':'.
5684         (hskip_lws): New function.
5685         (haccepts_bytes): New function.
5686         (gethttp): Use it.
5687
5688         * init.c (setval): Check header sanity.
5689         (setval): Allow resetting of headers.
5690
5691 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
5692
5693         * http.c (http_loop): Don't use has_wildcards.
5694
5695         * http.c (gethttp): Free all_headers -- would leak.
5696
5697         * recur.c (recursive_retrieve): Initialize depth to 1 instead of
5698         0 -- this fixes a long-standing bug in -rl.
5699
5700 1996-11-09  Hrvoje Niksic  <hniksic@srce.hr>
5701
5702         * ftp.c: Use -1 as "impossible" value for con->fd.
5703
5704         * url.h (URL_SEPARATOR): Don't treat `*' and `+' as separators.
5705
5706         * init.c (parse_line): Use isalpha.
5707
5708         * ftp-unix.c: Use HAVE_UNISTD_H.
5709
5710         * mtch.c (has_wildcards): Don't match \.
5711
5712         * http.c (http_loop): Warn on HTTP wildcard usage.
5713
5714 1996-11-08  Hrvoje Niksic  <hniksic@srce.hr>
5715
5716         * url.c (url_filename): Do not create numbered suffixes if
5717         opt.noclobber -- would bug out on -nc.
5718
5719 1996-11-07  Hrvoje Niksic  <hniksic@srce.hr>
5720
5721         * recur.c (parse_robots): Don't chuck out the commands without
5722         arguments (`Disallow:<empty>' didn't work).
5723         (parse_robots): Compare versions lowercase.
5724         (parse_robots): Match on base_version, not version_string!
5725         (parse_robots): Handle comments properly.
5726         (parse_robots): Match versions in a sane way.
5727
5728         * init.c: Print nicer error messages.
5729
5730         * version.c: Changed version to 1.4.0.
5731
5732 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
5733
5734         * version.c: Released 1.4.0-test2.
5735
5736         * init.c (run_wgetrc): Close fp.
5737
5738         * ftp.c (ftp_retrieve_dirs): Allocate the correct length for
5739         u->dir.
5740
5741 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
5742
5743         * init.c (setquota): Allow inf as quota specification.
5744
5745 1996-11-05  Hrvoje Niksic  <hniksic@srce.hr>
5746
5747         * ftp.c (ftp_retrieve_dirs): Return QUOTEXC if quota exceeded.
5748         (ftp_retrieve_glob): Return QUOTEXC on quota exceeded.
5749
5750         * main.c (main): Check for quota by comparison with downloaded
5751         stuff, not from status.
5752
5753         * connect.c (select_fd): Should compile on HPUX without warnings now.
5754
5755         * ftp.c (ftp_get_listing): Check whether ftp_loop_internal
5756         returned RETROK.
5757
5758 1996-11-04  Hrvoje Niksic  <hniksic@srce.hr>
5759
5760         * ftp.c (ftp_retrieve_glob): Print the pattern nicely.
5761         (getftp): Return FTPRETRINT on control connection error.
5762
5763         * html.c (htmlfindurl): Recognize <embed src=...> and
5764         <bgsound src=...>.
5765         (ftp_index): Handle username and password correctly.
5766
5767         * main.c (main): Made `-np' a synonim for --no-parent.
5768
5769 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
5770
5771         * ftp.c (ftp_loop): Check for opt.ftp_glob too before calling
5772         ftp_retrieve_glob.
5773
5774         * version.c: Changed version to 1.4.0-test2.
5775
5776 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
5777
5778         * version.c: Released 1.4.0-test1.
5779
5780         * url.c (str_url): Don't use sprintf when creating %2F-prefixed
5781         directory.
5782         (convert_links): Removed definition of make_backup.
5783
5784         * http.h: Removed definition of MAX_ERROR_LENGTH.
5785
5786         * host.c (ftp_getaddress): Check for "(none)" domains.
5787
5788         * ftp.c (ftp_retrieve_dirs): Docfix.
5789
5790         * http.c (gethttp): Use ou->referer instead of u->referer.
5791
5792         * retr.c (retrieve_url): Reset u to avoid freeing pointers twice;
5793         this was known to cause coredumps on Linux.
5794
5795         * html.c (ftp_index): Cast the argument to local_time to time_t *.
5796
5797 1996-11-01  Hrvoje Niksic  <hniksic@srce.hr>
5798
5799         * connect.c (select_fd): Use exceptfds -- once and for all.
5800
5801         * retr.c (retrieve_from_file): Free filename after
5802         recursive_retrieve.
5803         (retrieve_from_file): Send RFIRST_TIME to recursive_retrieve on
5804         first-time retrieval.
5805         (retrieve_from_file): Return uerr_t; new argument, count.
5806         (retrieve_from_file): Break on QUOTEXC.
5807
5808         * init.c (setquota): Fixed a bug that caused rejection of
5809         non-postfixed values..
5810
5811 1996-10-30  Hrvoje Niksic  <hniksic@srce.hr>
5812
5813         * version.c: Changed name to wget.
5814
5815         * connect.c (iread): Smarter use of select.
5816         (select_fd): Set errno on timeout.  If not timeout, return 1
5817         instead of 0.
5818
5819 1996-10-29  Hrvoje Niksic  <hniksic@srce.hr>
5820
5821         * ftp.c (ftp_loop_internal): Don't use con->cmd before
5822         establishing it.
5823
5824 1996-10-26  Hrvoje Niksic  <hniksic@srce.hr>
5825
5826         * http.c (gethttp): Send correct referer when using proxy.
5827         (gethttp): Use struct urlinfo ou to access the relevant data; send
5828         correct authorization in all cases.
5829
5830         * host.c (same_host): Use skip_uname to skip username and
5831         password.
5832
5833         * url.c (skip_uname): New function.
5834         (parseurl): Use it.
5835
5836         * host.c (same_host): Do not assume HTTP -- same_host should now
5837         be totally foolproof.
5838
5839         * url.c (skip_proto): New function.
5840         (parse_uname): Use it.
5841
5842         * http.c (gethttp): Create local user and passwd from what is
5843         given.
5844
5845         * url.c (parseurl): Check for HTTP username and password too.
5846
5847 1996-10-25  Hrvoje Niksic  <hniksic@srce.hr>
5848
5849         * config.h.in: Removed #define gethostbyname R...
5850
5851 1996-10-22  Hrvoje Niksic  <hniksic@srce.hr>
5852
5853         * version.c: Changed version to 1.4.0-test1.
5854
5855 1996-10-21  Hrvoje Niksic  <hniksic@srce.hr>
5856
5857         * version.c: "Released" 1.4b29.
5858
5859         * recur.c (recursive_retrieve): Check for no_parent.
5860
5861         * init.c (setval): Option update.
5862
5863         * main.c (main): New option no-parent.
5864
5865         * options.h (struct options): New variable no_parent.
5866
5867         * recur.c (recursive_retrieve): Only files are checked for
5868         opt.accepts and opt.rejects.
5869         (recursive_retrieve): Check directories for opt.excludes.
5870         (recursive_retrieve): Make the dir absolute when checking
5871         opt.excludes.
5872
5873         * html.c (htmlfindurl): Recognize <applet code=...> and <script
5874         src=...>
5875
5876 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
5877
5878         * ftp.c (getftp): Do not line-break assert entries at all.
5879         (ftp_retrieve_dirs): docfix.
5880
5881         * connect.c (select_fd): Use fd + 1 as nfds.
5882
5883         * version.c: Changed version to 1.4b29.
5884
5885 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
5886
5887         * version.c: "Released" 1.4b28.
5888
5889         * ftp.c (ftp_loop_internal): Check whether f->size == len and
5890         don't continue the loop if it is.
5891         (ftp_get_listing): Remove list_filename on unsuccesful loop.
5892
5893 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
5894
5895         * ftp.c (ftp_loop_internal): Use strcpy to initialize tmp.
5896         (getftp): Do not use multiline assert.
5897
5898         * http.c (hparsestatline): Use mjr and mnr instead of major and
5899         minor, which don't compile on Ultrix.
5900         (http_loop): Use strcpy() to initialize tmp.
5901
5902         * all: Geturl -> Fetch
5903
5904 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
5905
5906         * recur.c (parse_robots): Fixed an off-by-one bug when looking for
5907         ':'.
5908
5909         * html.c (htmlfindurl): Fixed several possible off-by-one bugs by
5910         moving `bufsize &&' to the beginning of each check in for-loops.
5911
5912         * recur.c (parse_robots): Close fp on exit.
5913
5914         * url.c (mymkdir): Check for each directory before creating.
5915
5916 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
5917
5918         * version.c: Changed version to 1.4b28.
5919
5920 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
5921
5922         * version.c: "Released" 1.4b27.
5923
5924         * init.c (parse_line): Use isspace.
5925         (parse_line): Free *com on all errors.
5926
5927         * ftp.c (ftp_loop): Change FTPOK to RETROK before exiting.
5928         (delelement): Use next instead of f->next and prev instead of
5929         f->prev.
5930         (delelement): Free the members of the deleted element.
5931
5932         * http.c (http_loop): Do not return RETROK on code != 20x.
5933
5934         * init.c (cleanup): Free opt.user_header.
5935         (cleanup): Free opt.domains.
5936
5937         * url.c (freelists): Moved to cleanup().
5938
5939         * http.c (hparsestatline): Docfix.
5940
5941         * main.c (main): Return with error status on unsuccesful
5942         retrieval.
5943
5944         * init.c (setval): Do not remove listing when mirroring.
5945
5946         * url.c (url_filename): Use opt.fileprefix.
5947
5948         * ftp.c (ftp_get_listing): Use url_filename to get filename for
5949         .listing.
5950
5951         * main.c (main): New option: -rn.
5952
5953 1996-10-15  Hrvoje Niksic  <hniksic@srce.hr>
5954
5955         * Makefile.in (RM): Added RM = rm -f.
5956
5957         * host.c (clean_hosts): New function.
5958         (free_hlist): Just free the list, no reset.
5959
5960         * version.c: Changed version to 1.4b27.
5961
5962 1996-10-13  Hrvoje Niksic  <hniksic@srce.hr>
5963
5964         * version.c: "Released" 1.4b26.
5965
5966         * retr.c (retrieve_from_file): If call get_urls_html with
5967         opt.spider to make it silent in spider mode.
5968
5969         * url.c (str_url): Use CLEANDUP instead of URL_CLEANSE.
5970
5971         * url.h (CLEANDUP): New macro.
5972
5973         * http.c (gethttp): Fixed a bug that freed location only when it
5974         was NULL.
5975
5976         * retr.c (retrieve_url): Free url if it will not be stored,
5977         i.e. newloc is NULL.
5978
5979         * html.c (htmlfindurl): Handle exiting from quotes correctly; the
5980         old version would bug out on <a href="x#a"href="y">.
5981
5982         * html.h (state_t): New member in_quote.
5983
5984         * html.c (htmlfindurl): Free s->attr at the beginning of
5985         attr-loop.
5986
5987         * recur.c (recursive_retrieve): Recognize RCLEANUP.
5988         (tried_robots): Make hosts a global variable.
5989         (recursive_retrieve): Free constr after URL host optimization.
5990         (tried_robots): Free urlinfo before exiting.
5991
5992         * utils.c (free_slist): New function.
5993
5994         * recur.c (recursive_retrieve): Use flags to add cleanup
5995         possibility.
5996
5997         * main.c (main): Free filename after recursive_retrieve.
5998
5999         * http.c (gethttp): Store successful responses too.
6000
6001 1996-10-12  Hrvoje Niksic  <hniksic@srce.hr>
6002
6003         * all: Constified the whole source.  This required some minor
6004         changes in many functions in url.c, possibly introducing bugs -- I
6005         hope not.
6006
6007         * ftp-basic.c: Removed last_respline.
6008
6009         * http.c (gethttp): Free type.
6010
6011         * host.c (same_host): Free real1 and real2.
6012
6013         * main.c (main): New option --spider.
6014
6015         * retr.c (get_contents): Don't reset errno.
6016
6017         * main.c (main): Sorted the options.
6018
6019         * connect.c (iread): Set errno to ETIMEDOUT only if it was left
6020         uninitialized by select().
6021
6022         * http.c (http_loop): Print the time when the connection is
6023         closed.
6024         (gethttp): Debug-print the HTTP request.
6025
6026 1996-10-11  Hrvoje Niksic  <hniksic@srce.hr>
6027
6028         * connect.c (iread): Do not try reading after timeout.
6029
6030         * main.c (main): Would bug out on -T.
6031
6032         * connect.c (select_fd): Do not use exceptfds.
6033         (iread): Set ETIMEDOUT on select_fd <= 0.
6034
6035         * version.c: Changed version to 1.4b26.
6036
6037 1996-10-10  Hrvoje Niksic  <hniksic@srce.hr>
6038
6039         * version.c: "Released" 1.4b25.
6040
6041         * ftp-unix.c (ftp_parse_unix_ls): Ignore lines without file name
6042         or link name.
6043
6044         * http.c (gethttp): Add errcode to struct hstat.
6045         (http_loop): Use it.
6046
6047         * url.c (no_proxy_match): Simplify using char** for no_proxy.
6048
6049         * options.h (struct options): Make opt.no_proxy a vector.
6050
6051         * utils.c (sepstring): Use !*s instead of !strlen(s).
6052
6053         * init.c (setval): Set opt.maxreclevel to 0 on --mirror.
6054         (getperms): Use ISODIGIT instead of isdigit.
6055
6056         * ftp.c (getftp): Print time.
6057
6058         * main.c (main): Use legible output of downloaded quantity.
6059
6060         * ftp.c (getftp): Use elapsed_time().
6061         (ftp_loop_internal): Use rate().
6062
6063         * http.c (http_loop): Add download ratio output; Use rate().
6064
6065         * utils.c (rate): New function.
6066
6067 1996-10-09  Hrvoje Niksic  <hniksic@srce.hr>
6068
6069         * http.c (http_loop): Use timer.
6070
6071         * ftp.c: Split to ftp-basic.c and ftp.c
6072
6073         * utils.c (reset_timer): New function.
6074         (elapsed_time): New function.
6075
6076         * retr.c (show_progress): Make bytes_in_line and offs long; should
6077         work on 16-bit machines.
6078
6079 1996-10-08  Hrvoje Niksic  <hniksic@srce.hr>
6080
6081         * url.c (in_acclist): New argument backward.
6082
6083         * ftp.c (ftp_retrieve_glob): Use acceptable() to determine whether
6084         a file should be retrieved according to suffix.
6085         (ftp_get_listing): Check the return value of unlink; Do not call
6086         ftp_retrieve_dirs if depth reached maxreclevel.
6087         (ftp_retrieve_dirs): Check whether the directory is in
6088         exclude-list.
6089
6090         * main.c (main): Print the version number at the beginning of
6091         DEBUG output.
6092         (main): Use strrchr when creating exec_name.
6093
6094         * ftp.c (ftp_retrieve_glob): Do not close control connection.
6095
6096         * version.c: Changed version to 1.4b25.
6097
6098 1996-10-07  Hrvoje Niksic  <hniksic@srce.hr>
6099
6100         * version.c: "Released" 1.4b24.
6101
6102         * Makefile.in: Rewrite.
6103
6104         * ftp.c (ftp_loop_internal): Likewise.
6105
6106         * retr.c (time_str): Check for failed time().
6107
6108         * html.c (htmlfindurl): Recognize <fig src> and <overlay src> from
6109         HTML3.0.
6110
6111         * retr.c (time_str): Return time_t *.
6112
6113         * connect.c (bindport): Close msock on unsuccesful bind.
6114         (bindport): The same for getsockname and listen.
6115
6116         * retr.c (retrieve_url): Allow any number of retries on
6117         proxy.
6118
6119         * http.c (gethttp): Do not treat errno == 0 as timeout.
6120         (http_loop): Likewise.
6121         (http_loop): Cosmetic changes.
6122
6123         * connect.c (iread): Set errno to ETIMEDOUT in case of timeout.
6124
6125         * retr.c (get_contents): Reset errno.
6126
6127         * ftp.c (getftp): Minor fixes.
6128
6129 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
6130
6131         * http.c: Do not use backups.
6132
6133         * geturl.1 (WARNING): Warn that man-page could be obsolete.
6134
6135         * getopt.c (getopt_long): Moved to getopt.c
6136
6137         * geturl.texi: Enhanced.
6138
6139         * main.c (main): Use it.
6140
6141         * recur.c (convert_all_links): New function.
6142
6143         * utils.c (add_slist): New argument flags.
6144
6145         * recur.c (recursive_retrieve): Update a list of downloaded URLs.
6146         (parse_robots): Do not chuck out empty value fields.
6147         (parse_robots): Make yourself welcome on empty Disallow.
6148
6149         * version.c: Changed version to 1.4b24.
6150
6151 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
6152
6153         * version.c: "Released" 1.4b23.
6154
6155         * ftp.c (ftp_loop_internal): Get the time after getftp.
6156
6157         * Makefile.in (install.info): New target.
6158         (install): Use it.
6159
6160         * http.c (http_loop): Fix output when doing -O.
6161
6162 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
6163
6164         * geturl.texi: New file.
6165
6166         * main.c (main): Do not print the warnings and download summary if
6167         opt.quiet is set.
6168
6169         * version.c: Changed version to 1.4b23.
6170
6171 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
6172
6173         * "Released" 1.4b22.
6174
6175         * atotm.c (atotm): Use True and False instead of TRUE and FALSE,
6176         to avoid redefinition warnings.
6177
6178         * host.c (store_hostaddress): Use memcpy() to copy the address
6179         returned by inet_addr.
6180
6181         * version.c: Changed version to 1.4b22.
6182
6183 1996-10-04  Hrvoje Niksic  <hniksic@srce.hr>
6184
6185         * version.c: "Released" 1.4b21.
6186
6187         * ftp-unix.c (ftp_parse_ls): Renamed to ftp_parse_unix_ls.
6188
6189         * ftp.c (ftp_port): Use conaddr.
6190         (getftp): Print the file length.
6191         (ftp_retrieve_list): Check the stamps of plain files only.
6192
6193         * connect.c (closeport): Do not call shutdown().
6194         (conaddr): New function.
6195
6196         * html.c (ftp_index): Made it dfp-aware.
6197
6198         * init.c (cleanup): New name of freemem. Close opt.dfp.
6199
6200         * ftp.c (getftp): Use opt.dfp if it is set.
6201
6202         * ftp-unix.c (ftp_parse_ls): Recognize time in h:mm format.
6203
6204         * ftp.c (ftp_retrieve_dirs): Fixed a bug that caused incorrect
6205         CWDs to be sent with recursive FTP retrievals.
6206
6207 1996-10-03  Hrvoje Niksic  <hniksic@srce.hr>
6208
6209         * recur.c (parse_robots): Made it more compliant with "official"
6210         specifications.
6211
6212         * http.c: New function.
6213
6214         * ftp-unix.c (ftp_parse_ls): Added better debug output.
6215
6216         * ftp.c (getftp): Print out the LIST in case of
6217         opt.print_server_response.
6218
6219         * version.c: Changed version to 1.4b21.
6220
6221 1996-10-01  Hrvoje Niksic  <hniksic@srce.hr>
6222
6223         * version.c: "Released" 1.4b20.
6224
6225         * README: Update.
6226
6227         * http.c (gethttp): Preset lengths of various headers instead of
6228         calculating them dynamically.
6229         (gethttp): Check for 206 partial contents.
6230
6231 1996-09-30  Hrvoje Niksic  <hniksic@srce.hr>
6232
6233         * configure.in: Set SYSTEM_GETURLRC to $libdir/geturlrc
6234
6235         * http.c (gethttp): Send the port number in the Host: header.
6236
6237 1996-09-29  Hrvoje Niksic  <hniksic@srce.hr>
6238
6239         * http.c (gethttp): Send host: header.
6240         (gethttp): Add the possibility of user-defined headers.
6241         (gethttp): Move decision about pragma: no-cache to http_loop,
6242         where it belongs.
6243         (gethttp): Pass a struct instead of enormous argument list.
6244         (http_loop): Use a new, fancier display format.
6245         (ftp_loop): Likewise.
6246
6247         * main.c: (hangup): Turn off buffering of the new log file.
6248
6249         * install-sh: Likewise.
6250
6251         * config.sub: Replace with the one in autoconf-2.10
6252
6253         * geturl.1: Update.
6254
6255         * init.c: New options httpuser and httppasswd.
6256
6257         * http.c: (base64_encode_line): New function.
6258         (gethttp): Send authentication.
6259
6260         * connect.c (make_connection): Use store_hostaddress.
6261
6262 1996-09-28  Hrvoje Niksic  <hniksic@srce.hr>
6263
6264         * host.c (store_hostaddress): New function.
6265
6266         * NEWS: Update.
6267
6268         * http.c (hgetrange): New function.
6269         (gethttp): Use ranges.
6270
6271         * utils.c (numdigit): Accept long instead of int.
6272
6273         * http.c (http_loop): Add restart capabilities.
6274
6275         * ftp.c (ftp_retrieve_glob): Fixed a bug that could cause matchres
6276         being used uninitialized.
6277         (ftp_retrieve_list): Similar fix.
6278
6279         * host.c (add_hlist): Fixed a bug that could cause cmp being used
6280         uninitialized.
6281
6282         * url.c (construct_relative): New function.
6283
6284         * recur.c (recursive_retrieve): Use it.
6285
6286         * retr.c (convert_links): New function.
6287
6288 1996-09-27  Hrvoje Niksic  <hniksic@srce.hr>
6289
6290         * url.c (free_urlpos): New function.
6291
6292         * recur.c (recursive_retrieve): Adapt.
6293
6294         * url.c (get_urls_html): Return a linked list instead of a vector.
6295
6296         * url.c (get_urls_file): Return a linked list instead of a vector.
6297
6298         * geturl.1: Update.
6299
6300         * http.c (gethttp): Implement it.
6301
6302         * init.c (setval): New option: SAVEHEADERS
6303
6304         * ftp.c (ftp_loop_internal): Do not set restval if listing is to
6305         be retrieved. Lack of this test caused bugs when the connection
6306         was lost during listing.
6307
6308         * retr.c (retrieve_url): Fixed a bug that caused
6309         coredumps. *newloc is now reset by default.
6310         (retrieve_url): Lift the twenty-tries limit on proxies.
6311
6312         * version.c: Changed version to 1.4b20.
6313
6314 1996-09-20  Hrvoje Niksic  <hniksic@srce.hr>
6315
6316         * version.c: "Released" 1.4b19.
6317
6318 1996-09-19  Hrvoje Niksic  <hniksic@srce.hr>
6319
6320         * ftp.c (ftp_loop_internal): Renamed from ftp_1fl_loop.
6321         (getftp): Changed prototype to accept ccon *.
6322
6323 1996-09-17  Hrvoje Niksic  <hniksic@srce.hr>
6324
6325         * ftp.c (ftp_retrieve_list): Fixed a bug that caused setting
6326         incorrect values to files pointed to by symbolic links.
6327         (ftp_1fl_loop): Do not count listings among the downloaded URL-s.
6328
6329 1996-09-16  Hrvoje Niksic  <hniksic@srce.hr>
6330
6331         * url.c (mkstruct): Do not prepend "./" in front of a pathname.
6332
6333         * main.c (main): New option: --user-agent.
6334
6335         * geturl.1: Ditto.
6336
6337         * init.h: Ditto.
6338
6339         * init.c (setval): Ditto.
6340
6341         * main.c (main): Rename "server-headers" to "server-response".
6342
6343         * ftp-unix.c (ftp_parse_ls): Check for asterisks at the end of
6344         executables in 'ls -F' listings.
6345
6346 1996-09-15  Hrvoje Niksic  <hniksic@srce.hr>
6347
6348         * url.c (parseurl): Remove realloc() and sprintf().
6349         (str_url): Get rid of sprintf().
6350
6351         * recur.c (recursive_retrieve): Enable FTP recursion through proxy
6352         servers.
6353
6354         * url.h (URL_CLEANSE): Made it else-resistant.
6355         (USE_PROXY): New macro.
6356
6357 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
6358
6359         * NEWS: Update.
6360
6361         * version.c: Changed version to 1.4b19.
6362
6363 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
6364
6365         * version.c: "Released" 1.4b18.
6366
6367         * url.c: Made it reallocate space exponentially.
6368
6369 1996-09-14  Drazen Kacar  <dave@fly.cc.fer.hr>
6370
6371         * html.c (htmlfindurl): Added <frame src> and <iframe src> among
6372         the list of stuff to fetch.
6373
6374 1996-09-13  Hrvoje Niksic  <hniksic@srce.hr>
6375
6376         * url.c (get_urls_html): Fixed a bug that caused SIGSEGV's with
6377         -Fi.
6378
6379         * html.c (htmlfindurl): Rewrite.
6380
6381         * http.c (gethttp): Use opt.proxy_cache.
6382
6383         * main.c (main): Added --cache option.
6384
6385         * ftp.c (ftp_response): Print server response if opt.print_server
6386         response is set.
6387         (getftp): Print newlines after each request if the server response
6388         is to be printed.
6389         (ftp_response): Copy the last response line to last_respline.
6390
6391         * http.c (gethttp): Add Pragma: nocache for retried
6392         proxy-retrievals.
6393
6394         * ftp.c (getftp): Use it.
6395
6396         * retr.c (buf_discard): New function.
6397
6398         * ftp.c (ftp_response): Use buf_readchar().
6399         (getftp): Flush the control connection buffer before calling
6400         get_contents().
6401
6402         * retr.c (buf_readchar): New function.
6403         (buf_flush): New function.
6404         (get_contents): Use buf_readchar() instead of read(x, x, 1).
6405         (get_contents): Use buf_flush.
6406
6407 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
6408
6409         * ftp.c: Incorporate changes to ftp_response.
6410
6411         * ftp.c (ftp_response): Allocate the server response dynamically,
6412         as in read_whole_line and fetch_next_header.
6413
6414         * utils.c (read_whole_line): Fixed a bug that prevented reading
6415         the last line if it is not \n-terminated. Also fixed a possible
6416         memory overflow.
6417
6418         * http.c (fetch_next_header): Return malloc-ed string as large as
6419         needed.
6420         (gethttp): Use new fetch_next_header.
6421
6422 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
6423
6424         * http.c (hgetlen): Compute the header length the first time only.
6425         (hgettype): Ditto.
6426         (hgetlocation): Ditto.
6427         (hgetmodified): Ditto.
6428
6429 1996-09-11  Hrvoje Niksic  <hniksic@srce.hr>
6430
6431         * sample.geturlrc: Update.
6432
6433 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
6434
6435         * http.c (http_loop): Ditto.
6436
6437         * ftp.c (getftp): Open the output file as binary.
6438
6439         * version.c: Changed version to 1.4b18.
6440
6441 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
6442
6443         * version.c: "Released" 1.4b17.
6444
6445         * ftp-unix.c (ftp_parse_ls): If unable to open file, return NULL
6446         instead of failed assertion.
6447
6448 1996-09-09  Hrvoje Niksic  <hniksic@srce.hr>
6449
6450         * ftp.c (ftp_get_listing): Add a numbered suffix to LIST_FILENAME
6451         if a file of that name already exists.
6452
6453 1996-09-05  Hrvoje Niksic  <hniksic@srce.hr>
6454
6455         * ftp.c (ftp_1fl_loop): Handler FTPPORTERR and FOPENERR correctly.
6456
6457         * config.h.in: Define gethostbyname as Rgethostbyname when using
6458         Socks.
6459
6460         * configure.in: Check for -lresolv if using Socks.
6461
6462         * version.c: Changed version to 1.4b17.
6463
6464 1996-07-15  Hrvoje Niksic  <hniksic@srce.hr>
6465
6466         * version.c: "Released" 1.4b16.
6467
6468         * http.c (gethttp): More intelligent check for first line of HTTP
6469         response.
6470         (gethttp): Would bug out on time-stamping.
6471
6472         * version.c: Changed version to 1.4b16.
6473
6474 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
6475
6476         * version.c: Released 1.4b15.
6477
6478         * http.c (http_loop): Print \n after the loop entry, not before.
6479
6480         * url.c (url_filename): Use ISDOT.
6481
6482         * url.h (ISDOT): New macro.
6483
6484         * recur.c (recursive_retrieve): Change only opt.recursive for
6485         following FTP.
6486
6487 1996-07-11  Antonio Rosella <antonio.rosella@agip.it>
6488
6489         * socks/geturl.cgi: Fixed version No.
6490
6491         * socks/download-netscape.html: Ditto.
6492
6493         * socks/download.html: Changed socks.html to download.html.
6494
6495 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
6496
6497         * url.c (url_filename): Check for opt.dirstruct instead for
6498         opt.recursive && opt.dirstruct.
6499
6500         * init.c (defaults): Ditto.
6501         (defaults): Reset dirstruct by default.
6502         (setval): Set opt.dirstruct whenever setting recursive.
6503
6504         * init.h: Removed FORCEDIRHIER.
6505
6506         * INSTALL: Added -L to socks-description.
6507
6508         * version.c: Changed version to 1.4b15.
6509
6510 1996-07-10  Hrvoje Niksic  <hniksic@srce.hr>
6511
6512         * version.c: "Released" 1.4b14.
6513
6514         * geturl.1: Update AUTHOR to include Rosella as contributor.
6515
6516         * NEWS: Update.
6517
6518         * socks/geturl.cgi: Simplified command creation, nuked <blink>.
6519
6520         * socks/geturl.cgi: Wrap nutscape extensions within if $netscape.
6521         (cal_time): Fix == to eq.
6522
6523         * socks/geturl.cgi: GPL-ized with permission of A. Rosella.
6524
6525         * geturl.1 (hostname): Moved URL CONVENTIONS to the beginning.
6526
6527         * Makefile.in: Use @VERSION@.
6528
6529         * configure.in: Check version from version.c.
6530
6531         * socks/geturl.cgi: Changed /pub/bin/perl to /usr/bin/perl.
6532
6533         * socks/download.html: Created from download-netscape.html, made
6534         HTML-2.0 compliant.
6535
6536         * recur.c (recursive_retrieve): Set opt.force_dir_hier when
6537         following FTP links from recursions.
6538
6539 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
6540
6541         * url.c (mymkdir): Fixed a bug that prevented mymkdir() to create
6542         absolute directories correctly.
6543
6544         * version.c: Changed version to 1.4b14.
6545
6546 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
6547
6548         * version.c: "Released" 1.4b13.
6549
6550         * url.c (make_backup): New function.
6551
6552         * http.c (http_loop): Make a backup copy of the local file (using
6553         rename(2)) before opening it.
6554
6555         * main.c (main): Added --backups.
6556
6557         * host.c (ftp_getaddress): Bail out on failed mycuserid().
6558         (ftp_getaddress): Check for leading dot on MY_DOMAIN.
6559         (ftp_getaddress): Check for empty, null or (null) domain.
6560
6561         * url.c (get_urls_html): If this_url is NULL, the base must have a
6562         protocol.
6563         (parseurl): Use has_proto.
6564
6565         * retr.c (retrieve_url): Warn when proxy is used with more than 20
6566         retries.
6567
6568         * url.c (mkstruct): Create the directory (calling mymkdir()) only
6569         if it is not already there.
6570         (has_proto): New function.
6571         (get_urls_html): Eliminate the remaining call to findurl -- use
6572         has_proto.
6573
6574         * geturl.1: Ditto.
6575
6576         * main.c: Change -X to -x.
6577
6578         * url.c (url_filename): Simplify creation of filename if
6579         prefix_files is set.
6580         (url_filename): Simplify everything. And I do mean *everything*.
6581         (mkstruct): Add dir_prefix before hostname.
6582         (path_simplify): Fixed a bug that caused writing outside the path
6583         string in case of "." and ".." path strings.
6584
6585 1996-07-06  Hrvoje Niksic  <hniksic@srce.hr>
6586
6587         * init.c: Added --mirror.
6588
6589         * main.c (main): Added -X to force saving of directory hierarchy.
6590
6591         * ftp.c (ftp_retrieve_list): Added recursion depth counter.
6592         (ftp_retrieve_list): Check whether quota is exceeded.
6593
6594         * url.c (get_urls_html): Skip leading blanks for absolute URIs.
6595
6596         * http.c (gethttp): Use referer if present.
6597
6598         * recur.c (recursive_retrieve): Set u->referer before calling
6599         retrieve_url.
6600
6601         * url.c (newurl): Use memset to nullify the struct members.
6602         (freeurl): Free the referer field too.
6603
6604         * url.h: Added referer to urlinfo.
6605
6606         * geturl.1: Updated the manual to document some of the new features.
6607
6608         * utils.c (numdigit): Moved from url.c.
6609
6610         * README: Rewritten.
6611
6612         * config.h.in: Add the support for socks.
6613
6614         * configure.in: Add the support for socks.
6615
6616         * url.c (url_filename): If the dir_prefix is ".", work with just
6617         the file name.
6618         (url_filename): Do not look for .n extensions if timestamping if
6619         turned on.
6620
6621         * retr.c (show_progress): Skip the over-abundant restval data, and
6622         print the rest of it with ',' instead of '.'.
6623
6624 1996-07-05  Hrvoje Niksic  <hniksic@srce.hr>
6625
6626         * retr.c (show_progress): Changed second arg. to long (as it
6627         should be).
6628         (show_progress): Moved to retr.c.
6629         (get_contents): Moved to retr.c.
6630
6631         * version.c: Change version to 1.4b13.
6632
6633 1996-07-05  Hrvoje Lacko <hlacko@fly.cc.fer.hr>
6634
6635         * url.c (in_acclist): Would return after the first suffix.
6636
6637 1996-07-04  Hrvoje Niksic  <hniksic@srce.hr>
6638
6639         * version.c: "Released" 1.4b12.
6640
6641         * url.c (path_simplify): More kludgifications.
6642         (get_urls_html): Use new parameters for htmlfindurl.
6643
6644         * html.c: Removed memorizing "parser states", since the new
6645         organization does not require them.
6646
6647         * init.c (run_geturlrc): Use read_whole_line.
6648
6649         * ftp-unix.c (ftp_parse_ls): Use read_whole_line.
6650
6651         * recur.c (parse_robots): Use read_whole_line.
6652
6653         * utils.c (read_whole_line): New function.
6654
6655         * recur.c (tried_robots): Use add_slist/in_slist, *much* cleaner.
6656
6657         * host.c (ngethostbyname): Call inet_addr just once. Yet to be
6658         tested on OSF and Ultrix.
6659         (add_hlist): New function.
6660         (free_hlist): New function.
6661         (search_host): New function.
6662         (search_address): New function.
6663         (realhost): Use search_host, search_address and add_hlist.
6664         (same_host): Replaced realloc() with strdupdelim(), made
6665         case-insensitive, fixed a memory leak.
6666
6667         * html.c (ftp_index): Fixed tm_min and tm_sec to be tm_hour and
6668         tm_min, like intended.
6669
6670         * version.c: Change user agent information to
6671         Geturl/version.
6672
6673 1996-07-03  Hrvoje Niksic  <hniksic@srce.hr>
6674
6675         * utils.c: Renamed nmalloc.c to utils.c, .h likewise.
6676
6677         * url.c (acceptable): Always accept directories.
6678
6679         * ftp-unix.c (ftp_parse_ls): Support brain-damaged "ls -F"-loving
6680         servers by stripping trailing @ from symlinks and trailing / from
6681         directories.
6682
6683         * ftp.c (ftp_loop): Debugged the "enhanced" heuristics. :-)
6684
6685         * url.c (skip_url): Use toupper instead of UCASE.
6686
6687         * host.c (sufmatch): Made it case-insensitive.
6688
6689         * url.c (match_backwards_or_pattern): Fixed i == -1 to j == -1.
6690         (match_backwards): New function, instead of
6691         match_backwards_or_pattern.
6692
6693         * recur.c (recursive_retrieve): Increased performance by
6694         introducing inl, which reduces number of calls to in_slist to only
6695         one.
6696
6697         * ftp.c (ftp_loop): Enhanced the heuristics that decides which
6698         routine to use.
6699
6700         * main.c (printhelp): Removed the warranty stuff.
6701
6702 1996-07-02  Hrvoje Niksic  <hniksic@srce.hr>
6703
6704         * url.c (add_slist): Simplify.
6705         (match_backwards_or_pattern): New function.
6706         (in_acclist): Use match_backwards_or_pattern.
6707         (matches): Remove.
6708
6709 1996-06-30  Hrvoje Niksic  <hniksic@srce.hr>
6710
6711         * ftp.c (ftp_loop): Call ftp_index on empty file names, if not
6712         recursive.
6713
6714         * html.c (ftp_index): Fixed to work. Beautified the output.
6715
6716         * ftp.c (ftp_retrieve_glob): Another argument to control whether
6717         globbing is to be used.
6718         (ftp_retrieve_list): Compare the time-stamps of local and remote
6719         files to determine whether to download.
6720
6721 1996-06-29  Hrvoje Niksic  <hniksic@srce.hr>
6722
6723         * ftp.c (rel_constr): New function.
6724
6725         * retr.c (retrieve_from_file): Check for text/html before
6726         retrieving recursively.
6727
6728         * main.c (main): Check whether the file is HTML before going into
6729         recursive HTML retrieving.
6730
6731         * ftp.c (ftp_retrieve_list): Manage directories.
6732         (ftp_retrieve_glob): Pass all the file-types to ftp_retrieve_list.
6733         (ftp_1fl_loop): Fixed a bug that caused con->com to be incorrectly
6734         initialized, causing bugchecks in getftp to fail.
6735
6736         * configure.in: Check for symlink.
6737
6738         * ftp.c (ftp_retrieve_list): Added support for symlinks.
6739
6740         * version.c: "Released" 1.4b10.
6741
6742         * atotm.c (atotm): Redeclared as time_t.
6743
6744         * init.c: New variable "timestamping".
6745
6746         * main.c (main): New option 'N'.
6747
6748         * http.c (hgetlocation): Case-insensitive match.
6749         (hgetmodified): New function.
6750         (http_loop): Implement time-stamping.
6751
6752 1996-06-28  Hrvoje Niksic  <hniksic@srce.hr>
6753
6754         * version.c: Changed version to 1.4b10
6755
6756         * atotm.c: New file, from phttpd.
6757
6758         * options.h (struct options): New parameter timestamping.
6759
6760         * version.c: 1.4b9 "released".
6761
6762         * recur.c (recursive_retrieve): Used linked list (ulist) for
6763         faster storing of URLs.
6764
6765         * url.c (get_urls_html): Removed the old kludge with comparing the
6766         outputs of htmlfindurl and findurl.
6767         (get_urls_html): Added better protocol support here.
6768         (create_hash): Removed, as well as add_hash and in_hash.
6769         (addslist): New function.
6770         (in_slist): ditto
6771
6772         * version.c: Released 1.4b8, changed version to b9.
6773
6774 1996-06-27  Hrvoje Niksic  <hniksic@srce.hr>
6775
6776         * ftp.c (freefileinfo): New function.
6777         (delelement): New function.
6778
6779         * everywhere: GPL!
6780
6781         * ftp.c (ftp_loop): Use ccon.
6782         (ftp_retrieve_glob): Likewise.
6783
6784         * ftp.h: Define ccon, to define status of control connection.
6785
6786         * ftp.c (ftp_get_listing): New function.
6787         (ftp_retrieve_more): New function.
6788         (ftp_retrieve_glob): New function.
6789
6790 1996-06-25  Hrvoje Niksic  <hniksic@srce.hr>
6791
6792         * configure.in: Removed the search for cuserid().
6793
6794         * init.c (getmode): Renamed to getperms.
6795
6796 1996-06-24  Hrvoje Niksic  <hniksic@srce.hr>
6797
6798         * version.c: New version.
6799
6800         * main.c (hangup): New function, that handles hangup. Hangup
6801         signal now causes geturl to stop writing on stdout, and to write
6802         to a log file.
6803
6804         * ftp.c (getftp): "Released" 1.4b7.
6805
6806         * html.c (htmlfindurl): Ignore everything inside <head>...</head>.
6807         (ftp_index): Use fileinfo/urlinfo.
6808
6809         * ftp-unix.c (ftp_parse_ls): New function.
6810         (symperms): New function.
6811
6812         * ftp.c (ftp_1fl_loop): New function, to handle 1-file loops.
6813
6814         * retr.c (retrieve_url): Added FTP support.
6815
6816 1996-06-23  Hrvoje Niksic  <hniksic@srce.hr>
6817
6818         * geturl.h: Removed NOTFTP2HTML enum.
6819         Added DO_LOGIN, DO_CWD and DO_LIST. LIST_ONLY is obsolete.
6820
6821         * ftp.c (getftp): Resynched with urlinfo.
6822         (getftp): Removed HMTL-ization of index.html from getftp.
6823
6824         * version.c: 1.4b6 "released".
6825
6826         * options.h (options): New struct, to keep options in.
6827
6828         * http.c (http_loop,gethttp): Synched with proxy.
6829
6830         * retr.c (retrieve_url): Implemented proxy retrieval.
6831
6832         * main.c (main): Use retrieve_from_file.
6833
6834 1996-06-22  Hrvoje Niksic  <hniksic@srce.hr>
6835
6836         * retr.c (retrieve_from_file): New function.
6837
6838         * url.c (parseurl): Modified to return URLOK if all OK. Protocol
6839         can be found in u->proto.
6840
6841         * ftp.c (ftp_response): Fixed to accept multi-line responses as
6842         per RFC 959.
6843
6844         * recr.c (recursive_retrieve): Take newloc from retrieve_url.
6845
6846         * url.c (mymkdir): Removed the file of the same name, if one
6847         exists.
6848         (isfile): New function.
6849         (mkstruct): Fixed the '/' glitches.
6850         (path_simplify): Hacked to treat something/.. correctly.
6851
6852 1996-06-21  Hrvoje Niksic  <hniksic@srce.hr>
6853
6854         * http.c (gethttp): Close the socket after error in headers.
6855         (http_loop): HEOF no longer a fatal header.
6856
6857         * loop.c (retrieve_url): When dt is NULL, do not modify it. This
6858         simplifies the syntax of calling retrieve_url.
6859
6860         * recr.c (recursive_retrieve): Modified to use get_urls_html.
6861
6862         * url.c (get_urls_file): New function.
6863         (get_urls_html): New function.
6864
6865         * recr.c (recursive_retrieve): Patched up to conform to the
6866         standards.
6867
6868         * http.c (gethttp): Synched with the rest...
6869         (gethttp): Treat only CONREFUSED specially, with connection
6870         errors.
6871
6872         * init.c,geturl.1,http.c (http_loop): Removed kill_error.
6873
6874 1996-06-20  Hrvoje Niksic  <hniksic@srce.hr>
6875
6876         * http.c (http_loop): New function.
6877
6878         * loop.c: Removed *lots* of stuff from retrieve_url.
6879
6880         * url.c (parseurl): Changed to work with urlinfo. Integrated
6881         username finding and path parsing.
6882         (newurl): New function.
6883         (freeurl): New function.
6884         (mkstruct): Removed the old bogosities, made it urlinfo-compliant.
6885         (url_filename): Likewise.
6886         (path_simplify): Accept relative paths too.
6887         (opt_url): Made urlinfo-compliant, removed bogosities.
6888         (path_simplify): Expanded to accept relative paths.
6889         (str_url): A replacement for hide_url
6890         (decode_string): Fixed a bug that caused malfunctioning when
6891         encountering an illegal %.. combination.
6892         (opt_url): Removed the argument. Dot-optimizations are now default.
6893
6894         * nmalloc.c (strdupdelim): New function.
6895
6896         * url.h: Added the urlinfo structure
6897
6898 1996-06-19  Hrvoje Niksic  <hniksic@srce.hr>
6899
6900         * url.c (hide_url): Thrown out the protocol assertion. Do not
6901         change the URL if the protocol if not recognized.
6902         (findurl): Put continue instead of break.
6903
6904 1996-06-18  Hrvoje Niksic  <hniksic@srce.hr>
6905
6906         * sample.geturlrc: Changed the defaults to be commented out and
6907         harmless (previous defaults caused pains if copied to
6908         ~/.geturlrc).
6909
6910         * http.c (gethttp): Print the HTTP request in debug mode.
6911
6912         * connect.c (iread): Added EINTR check loop to select-ing
6913         too. EINTR is now correctly handled with select().
6914
6915         * TODO: new file
6916
6917 1996-05-07  Hrvoje Niksic  <hniksic@srce.hr>
6918
6919         * host.c (same_host): Made the function a little bit more
6920         intelligent regarding diversified URL syntaxes.
6921
6922         * url.c (skip_url): Spaces are now skipped after URL:
6923
6924         * Released 1.3.1 with the patch to prevent crashing when sending
6925         NULL to robot* functions and the patch to compile "out of the box"
6926         on AIX.
6927
6928         * recr.c (recursive_retrieve): Added checking whether this_url is
6929         NULL when calling the robot functions.
6930
6931         * ChangeLog: New file.