sjero.net Git - wget/blob - src/ChangeLog

   1 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
   2
   3         * init.c (comind): Use a marginally faster implementation of
   4         binary search.  To quote Martin Buchholz, "a nanosecond saved is a
   5         nanosecond earned."
   6
   7 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
   8
   9         * main.c (print_help): Document `--post-data' and `--post-file'.
  10
  11 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
  12
  13         * http.c (gethttp): Ditto.
  14
  15         * retr.c (retrieve_url): Initialize variables to appease the
  16         compiler.
  17
  18         * gen_sslfunc.c (ssl_iread): Don't handle EINTR when calling
  19         select_fd.
  20         (ssl_iwrite): Ditto.
  21
  22         * connect.c (select_fd): Rewrite to handle EINTR.  Set errno to
  23         ETIMEDOUT in case of timeout.
  24         (iread): No need to handle EINTR when calling select_fd.
  25         (iwrite): Ditto.
  26
  27 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
  28
  29         * retr.c (retrieve_url): Make sure that POST is not honored for
  30         redirections.
  31
  32         * http.c (gethttp): Send the POST data when requested.
  33         (post_file): New function.
  34         (gethttp): Use it.
  35
  36         * main.c (main): Ditto.
  37
  38         * init.c: Add new options.
  39
  40         * options.h (struct options): New options post_data and
  41         post_file_name.
  42
  43 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
  44
  45         * connect.c (connect_with_timeout): Firing SIGALRM can result in
  46         connect() exiting with EINTR.  Treat EINTR the same as ETIMEDOUT.
  47
  48 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
  49
  50         * connect.c (connect_with_timeout): Use it.
  51
  52         * utils.c (run_with_timeout): New function.
  53
  54 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
  55
  56         * url.c (getproxy): Accept a struct url argument.  This obviates
  57         the need for USE_PROXY_P.
  58
  59         * retr.c (retrieve_url): Allow proxy to be a non-FTP URL.
  60
  61         * ftp.c (getftp): Recognize FWTK-style proxy.
  62
  63 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
  64
  65         * config.h.in: Only define _VA_LIST when compiled with gcc.
  66
  67 2002-04012  Ian Abbott  <abbotti@mev.co.uk>
  68
  69         * http.c (http_loop): Compensate for MS Windows two-second
  70         granularity of file modification time when comparing timestamps.
  71
  72         * ftp.c (ftp_retrieve_list): Ditto.
  73
  74 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
  75
  76         * utils.c (has_html_suffix_p): New function to test filename for
  77         common html extensions.
  78
  79         * utils.h: Declare it.
  80
  81         * http.c (http_loop): Use it instead of previous test.
  82
  83         * retr.c (retrieve_url): Ditto.
  84
  85         * recur.c (download_child_p): Ditto.
  86
  87 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
  88
  89         * config.h.in: Define _VA_LIST on Solaris to prevent stdio.h from
  90         declaring va_list.
  91         From Kevin Rodgers <kevinr@ihs.com>.
  92
  93 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
  94
  95         * Makefile.in: Specify libtool mode explicitly when linking.
  96
  97 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
  98
  99         * connect.c (connect_with_timeout): New function.
 100         (connect_to_one): Use it.
 101
 102         * config.h.in: Add stubs for HAVE_SIGSETJMP, HAVE_SIGBLOCK, and
 103         HAVE_SETJMP_H.
 104
 105 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
 106
 107         * log.c: Set WGET_USE_STDARG if __STDC__ is defined and stdarg.h
 108         is present.
 109
 110 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
 111
 112         * progress.c (bar_create): If INITIAL is larger than TOTAL, fix
 113         TOTAL.
 114         (bar_finish): Likewise.
 115
 116 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
 117
 118         * html-url.c (tag_handle_form): New function.  Pick up form
 119         actions and mark them for conversion only.
 120
 121 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
 122
 123         * progress.c (struct progress_implementation): Use PARAMS when
 124         declaring the parameters of *create, *update, *finish, and
 125         *set_params.
 126
 127         * netrc.c: Ditto.
 128
 129         * http.c: Reformat some function definitions so that ansi2knr can
 130         read them.
 131
 132         * hash.c (struct hash_table): Use the PARAMS macro around
 133         parameters in the declaration of hash_function and test_function.
 134         (prime_size): Spell 2580823717UL and 3355070839UL as (unsigned
 135         long)0x99d43ea5 and (unsigned long)0xc7fa5177 respectively, so
 136         that pre-ANSI compilers can read them.
 137         (find_mapping): Use PARAMS when declaring EQUALS.
 138         (hash_table_put): Ditto.
 139
 140         * ftp.h: Wrap the parameters of ftp_index declaration in PARAMS.
 141
 142         * cookies.c (cookie_new): Use (unsigned long)0 instead of 0UL,
 143         which was unsupported by pre-ANSI compilers.
 144
 145         From Nelson H. F. Beebe <beebe@math.utah.edu>, for the most part.
 146
 147 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
 148
 149         * url.c (url_filename): Use compose_file_name regardless of
 150         whether opt.dirstruct is set.
 151         (mkstruct): Don't handle the query and the reencoding of DIR; that
 152         is done in compose_file_name.
 153
 154 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
 155
 156         * wget.h: Ditto for extern char *exec_name.
 157
 158         * options.h: Don't guard against OPTIONS_DEFINED_HERE -- it is
 159         perfectly legal to follow an `extern' with a non-`extern' ones,
 160         provided the types match.
 161
 162         * main.c: Don't define OPTIONS_DEFINED_HERE.
 163
 164 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
 165
 166         * progress.c (create_image): Revert to calculating ETA based on
 167         average download speed.
 168         (create_image): Don't print ETA until the download has been active
 169         for at least 3 seconds.
 170         (create_image): When ETA is not available, don't print anything.
 171         The previous version would print --:--.
 172
 173 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
 174
 175         * progress.c (bar_update): Keep updating a subinterval until it
 176         reaches or exceeds a watermark.  That way the measurement will be
 177         guaranteed to span a configurable minimum of time.  The current
 178         default is 3s in 30 100ms intervals.
 179
 180 2002-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
 181
 182         * progress.c (bar_update): Maintain an array of the time it took
 183         to perform previous 30 network reads.
 184         (create_image): Calculate the download speed and ETA based on the
 185         last 30 reads, not the entire download.
 186         (create_image): Make sure that the ETA is not changed more than
 187         once per second.
 188
 189 2002-04-09  Ian Abbott  <abbotti@mev.co.uk>
 190
 191         * mswindows.c (borland_utime): New function conditionally defined
 192         when `HACK_BCC_UTIME_BUG' is defined.  A reimplementation of
 193         `utime()' as Borland's `utime()' function is broken on Windows 9x
 194         systems.  (Original patch by Chin-yuan Kuo <sr1111111@yahoo.com.tw>.)
 195
 196 2002-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
 197
 198         * ftp.c (ftp_loop): Propagate the result of ftp_retrieve_glob.
 199
 200 2002-03-26  Ian Abbott  <abbotti@mev.co.uk>
 201
 202         * Makefile.in: Updated several dependencies for object files.
 203
 204 2002-03-20  Ian Abbott  <abbotti@mev.co.uk>
 205
 206         * mswindows.c: Include "utils.h".
 207
 208 2002-03-18  Ian Abbott  <abbotti@mev.co.uk>
 209
 210         * host.h: Don't include netdb.h on windows.
 211
 212 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
 213
 214         * recur.c (retrieve_tree): Handle the case when start_url doesn't
 215         parse.
 216
 217 2002-02-19  Andreas Damm  <andreas-sourceforge@radab.org>
 218
 219         * wget.h (DO_REALLOC_FROM_ALLOCA): Multiply with sizeof(type) when
 220         calling xmalloc and memcpy.
 221
 222 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
 223
 224         * host.h: Include Unix-specific includes #ifndef WINDOWS.
 225         Patch originally provided by Christian Lackas.
 226
 227 2002-02-11  Christian Lackas  <delta@lackas.net>
 228
 229         * recur.c: recurive downloading for https fixed.
 230
 231 2002-02-19  Alan Eldridge  <alane@geeksrus.net>
 232
 233         * host.h: Also include <netinet/in.h> and <sys/socket.h>.
 234
 235         * ftp-basic.c: Also include <netinet/in.h>.
 236
 237 2002-02-05  Ian Abbott  <abbotti@mev.co.uk>
 238
 239         * http.c (gethttp): when -c used, mark already fully retrieved
 240         file as successfully retrieved.
 241
 242 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
 243
 244         * url.c (url_parse): Don't treat '?' as query string separator
 245         when parsing FTP URLs.
 246
 247 2002-02-01  Hrvoje Niksic  <hniksic@arsdigita.com>
 248
 249         * html-url.c (tag_handle_meta): Don't crash on <meta
 250         http-equiv=refresh> where content is missing.
 251
 252 2002-01-31  Herold Heiko  <Heiko.Herold@previnet.it>
 253
 254         * ftp-basic.c, host.c: don't include sys/socket.h, arpa/inet.h,
 255         netdb.h on windows.
 256
 257 2002-01-30  Hrvoje Niksic  <hniksic@arsdigita.com>
 258
 259         * retr.c (retrieve_url): Remove redirection cycle detection.  This
 260         is because some sites legitimately redirect the user back to the
 261         same location, e.g. after an authorization check performed by
 262         another page.  MAX_REDIRECTIONS is still used to prevent infinite
 263         redirection loops.
 264
 265 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
 266
 267         * http.c (gethttp): Wrap host name in square brackets if it
 268         contains a colon.
 269
 270 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
 271
 272         * url.c (url_parse): Allow all hex digits, not only decimal ones,
 273         to form an IP address.
 274
 275 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
 276
 277         * url.c (urlchr_table): Make square braces reserved, so we can
 278         parse http://[::1]/.
 279         (url_parse): Handle host in braces.
 280         (url_string): If url->host contains colons, wrap it in braces.
 281
 282 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
 283
 284         * connect.c (resolve_bind_address): New function.
 285         (connect_to_one): Use it.
 286         (bindport): Ditto.
 287
 288         * init.c: Don't resolve bind-address here.
 289
 290         * host.c (wget_sockaddr_set_address): Would bug out with ADDR == NULL.
 291
 292 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
 293
 294         * host.c (lookup_host): Use sizeof(ip4_address) to calculate the
 295         offset.
 296         (address_list_new): Use map_ipv4_to_ip.
 297         (wget_sockaddr_set_address): Convert ADDR to IPv4 before using it
 298         in IPv4 context.
 299
 300 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
 301
 302         * source: Integrated IPv6 support.
 303         Written by Thomas Lussnig <thomas.lussnig@bewegungsmelder.de>.
 304
 305 2002-01-15  Ian Abbott  <abbotti@mev.co.uk>
 306
 307         * init.c (cmd_file): Change `\' to `/' for Windows (yes, really!)
 308         (cmd_directory): New function. Like cmd_file(), but strips
 309         trailing directory separators.
 310         (commands): Change action for "dirprefix" from `cmd_file' to
 311         `cmd_directory'.
 312
 313         * utils.c (make_directory): Allow intermediate `mkdir' calls to
 314         fail, as not all path components that do not exist should be
 315         directory components, especially under Windows.
 316
 317 2002-01-17  Hrvoje Niksic  <hniksic@arsdigita.com>
 318
 319         * netrc.c (parse_netrc): Skip leading whitespace before testing
 320         whether the line is empty.  Empty lines still contain the line
 321         terminator.
 322
 323 2002-01-15  Hrvoje Niksic  <hniksic@arsdigita.com>
 324
 325         * gen_sslfunc.c (ssl_iread): Call select on the file descriptor
 326         only if no data is pending in SSL buffers.
 327         From tony@bluetail.com.
 328
 329 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
 330
 331         * headers.c (header_get): Strip trailing whitespace from the
 332         header.
 333
 334 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
 335
 336         * url.c (parse_uname): URL-decode *USER and *PASSWD.
 337
 338 2002-01-07  Ian Abbott <abbotti@mev.co.uk>
 339
 340         * url.c (uri_merge_1): Deal with "net path" relative URL (one that
 341         starts with "//").
 342
 343 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
 344
 345         * http.c (gethttp): Invalidate SOCK if get_contents encountered an
 346         error.
 347
 348 2001-12-24  Hrvoje Niksic  <hniksic@arsdigita.com>
 349
 350         * version.c: Wget 1.8.1 is released.
 351
 352 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
 353
 354         * version.c: Wget 1.8.1-pre3 is released.
 355
 356 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
 357
 358         * recur.c (retrieve_tree): Enqueue the canonical representation of
 359         start_url, so that the test against dl_url_file_map works.
 360
 361 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
 362
 363         * log.c (logputs): Check for requested verbosity before printing
 364         anything.
 365
 366 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
 367
 368         * html-url.c (tag_handle_link): Treat the "shortcut icon" link as
 369         inline.
 370
 371 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
 372
 373         * recur.c (retrieve_tree): Make a copy of file obtained from
 374         dl_url_file_map because the code calls xfree(file) later.
 375
 376 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
 377
 378         * recur.c (register_html): Maintain a hash table of HTML files
 379         along with the list.  Disallow duplicates.
 380         (retrieve_tree): Use downloaded_html_set to check whether the file
 381         found in dl_url_file_map is an HTML file, and descend into it if
 382         so.
 383         (convert_all_links): Don't guard against duplicates in
 384         downloaded_html_list, since they are no longer possible.
 385
 386 2001-12-18  Ian Abbott  <abbotti@mev.co.uk>
 387
 388         * recur.c (retrieve_tree): Pass on referring URL when retrieving
 389         recursed URL.
 390
 391 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
 392
 393         * version.c: Wget 1.8.1-pre2 is released.
 394
 395 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
 396
 397         * retr.c (sleep_between_retrievals): Simplify indentation.
 398
 399 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
 400
 401         * gen_sslfunc.c (ssl_init_prng): Use random_number to get a byte
 402         of "randomness" at a time.
 403         (ssl_init_prng): Don't seed the PRNG; random_number will do that.
 404
 405         * retr.c (sleep_between_retrievals): Use it.  Make sure that the
 406         random amount averages in opt.wait.
 407         (sleep_between_retrievals): Don't seed the PRNG; random_number
 408         will do that.
 409
 410         * utils.c (random_number): New function.
 411
 412 2001-12-14  Hrvoje Niksic  <hniksic@arsdigita.com>
 413
 414         * url.c (path_simplify): Move here from utils.c, and make static.
 415
 416 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
 417
 418         * init.c (wgetrc_file_name): Print correct message when loading
 419         getenv("WGETRC") fails.
 420
 421 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
 422
 423         * recur.c (register_download): Don't abort when one URL references
 424         two different files.
 425
 426 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
 427
 428         * http.c (gethttp): Check for conn->scheme, not u->scheme, before
 429         calling ssl_iwrite.
 430
 431 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
 432
 433         * version.c: Wget 1.8.1-pre1 is released.
 434
 435 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
 436
 437         * res.c (matches): Fix broken URL in the docstring.
 438
 439 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
 440
 441         * html-url.c (tag_url_attributes): Mark <embed href=...> as
 442         external.
 443
 444 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
 445
 446         * url.c (get_urls_file): Cosmetic changes.
 447
 448 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
 449
 450         * html-url.c (append_one_url): Resurrect warning when unable to
 451         resolve a relative link.
 452
 453 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
 454
 455         * html-url.c (collect_tags_mapper): Break into several functions.
 456         (tag_url_attributes): Collect <embed href=...>.
 457
 458 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
 459
 460         * host.c: New type ipv4_address.  Use it consistently instead of
 461         `unsigned char[4]' and `unsigned char *'.
 462         (pretty_print_address): Accept a `const void *', to require even
 463         less casting.
 464
 465 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
 466
 467         * ftp-ls.c (ftp_parse_vms_ls): Fix obvious memory leaks.
 468
 469 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
 470
 471         * main.c (main): Initialize progress after fork_to_background, so
 472         that it knows when to use dots.
 473
 474         * mswindows.c (ws_hangup): Call log_request_redirect_output.
 475
 476         * utils.c (fork_to_background): Print the PID of the child
 477         process.
 478
 479         * log.c (log_request_redirect_output): Set a flag that output
 480         redirection has been requested.  Doing anything else in a signal
 481         handler is unsafe.
 482         (check_redirect_output): New function: check whether redirection
 483         has been requested and, if so, call redirect_output().
 484         (logputs): Call check_redirect_output.
 485         (logprintf): Ditto.
 486         (debug_logprintf): Ditto.
 487         (redirect_output): Print clearer messages.
 488
 489         * main.c (redirect_output_signal): Don't call
 490         redirect_output_signal directly.  Instead, call
 491         log_request_redirect_output.
 492
 493         * utils.c (memfatal): Ditto.
 494
 495         * progress.c (display_image): Use it.
 496
 497         * log.c (log_set_save_context): New function: allow the caller to
 498         turn off saving log context lines.
 499
 500 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
 501
 502         * host.c (address_list_set_faulty): Uncomment a sanity check.
 503
 504 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
 505
 506         * utils.c (long_to_string): Return a pointer after where the
 507         number ends.
 508         (long_to_string): Rename to number_to_string.
 509
 510 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
 511
 512         * utils.c (path_simplify): Correctly handle the unlikely case that
 513         b starts out as path + 1.
 514
 515 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
 516
 517         * utils.c (path_simplify): Rewrite, with better comments, and
 518         without the use of strcpy to move overlapping blocks.
 519
 520 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
 521
 522         * init.c (cmd_spec_progress): Resurrect.  Check whether VAL is a
 523         valid progress type before setting it.
 524
 525 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
 526
 527         * main.c (main): Remove stray debugging message.
 528
 529 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
 530
 531         * progress.c (create_image): Fix ETA padding when hours are prined.
 532
 533 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
 534
 535         * version.c: Wget 1.8 is released.
 536
 537 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
 538
 539         * url.c (reencode_string): Declare static.
 540
 541         * res.c (registered_specs): Declare static.
 542
 543         * progress.c (current_impl_locked): Declare static.
 544
 545         * log.c (flush_log_p): Declare static.
 546         (needs_flushing): Ditto.
 547
 548         * http.c (digest_authentication_encode): Declare static.
 549
 550         * html-url.c (init_interesting): Declare static.
 551
 552         * host.c (host_name_addresses_map): Declare static.
 553
 554         * cookies.c (find_matching_chains): Declare static.
 555
 556         * ftp-ls.c (ftp_parse_vms_ls): Warn about the memory leak
 557         indicated by lint.
 558
 559         * utils.c (path_simplify): Remove unused variable STUB_CHAR.
 560
 561         * host.c (address_list_set_faulty): Document that INDEX is
 562         currently unused.
 563
 564         * url.c (rewrite_shorthand_url): Remove unused variable PATH.
 565
 566 2001-12-08  Hrvoje Niksic  <hniksic@arsdigita.com>
 567
 568         * version.c: Wget 1.8-pre2 is released.
 569
 570 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
 571
 572         * progress.c (progress_handle_sigwinch): Set up the signal again.
 573
 574         * utils.c: Include <sys/termios.h>, where Solaris defines
 575         TIOCGWINSZ.
 576
 577         * progress.c (bar_create): Don't use the last column on the screen.
 578         (create_image): Pad ETA to constant size.  Pad SIZE to nine digits
 579         only until it exceeded them.
 580
 581 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
 582
 583         * version.c: Wget 1.8-pre1 is released.
 584
 585 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
 586
 587         * progress.c (progress_create): Make sure that, when the output is
 588         redirected, the progress implementation gets changed to the
 589         fallback one.
 590         (bar_set_params): Set current_impl_locked to 1 when "force" is
 591         specified.
 592         (progress_create): Don't change the progress implementation if
 593         current_impl_locked is non-zero.
 594
 595         * main.c (redirect_output_signal): Call
 596         progress_schedule_redirect.
 597
 598         * progress.c (progress_schedule_redirect): New function.
 599
 600 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
 601
 602         * log.c (logvprintf): Restructure to allow being called multiple
 603         times.
 604         (logprintf): Call logvprintf in a loop.
 605         (debug_logprintf): Ditto.
 606
 607 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
 608
 609         * gen_sslfunc.c (ssl_init_prng): Allow the user to disable EGD by
 610         setting egd_file it to empty string.
 611
 612         * main.c (main): Change the option name from --sslegdsock to
 613         --egd-file.
 614
 615 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
 616
 617         * gen_sslfunc.c (ssl_init_prng): Make the printed message
 618         translatable.
 619
 620 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
 621
 622         * url.c (scheme_disable): New function.
 623
 624         * main.c (main): Call ssl_init_prng from here rather than from
 625         init_ssl, so that it has a chance to disable support for https
 626         before a URL has been resolved.
 627
 628         * gen_sslfunc.c (ssl_init_prng): Seed with rand() if all else
 629         failed.
 630         (ssl_init_prng): Disable support for https if seeding the PRNG
 631         fails.
 632
 633 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
 634
 635         * utils.c (read_whole_line): Handle lines beginning with \0.
 636
 637 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
 638
 639         * recur.c (convert_all_links): Guard against duplicates in
 640         downloaded_html_files.
 641         (register_download): Don't invalidate similar-looking URLs.
 642         (match_except_index): New function.
 643
 644 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
 645
 646         * utils.c (path_simplify): Document with test cases.
 647
 648 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
 649
 650         * gen_sslfunc.c: Ditto.
 651
 652         * rbuf.c: Include <string.h>.
 653
 654 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
 655
 656         * recur.c (retrieve_tree): Check whether the URL was already
 657         downloaded before downloading it again.
 658         (descend_child_p): Renamed to download_child_p.
 659         (register_download): When one URL is downloaded to a file already
 660         "owned" by another URL, delete all references that map any URL to
 661         that file.
 662         (register_delete_file): New function.
 663         (retrieve_tree): Use it after deleting a file.
 664
 665         * url.c (url_parse): Re-canonicalize the URL also if the path is
 666         empty, so that e.g. "http://www.server.com" ->
 667         "http://www.server.com/".
 668         (lowercase_str): Use ISUPPER instead of !ISLOWER.
 669
 670         * retr.c (retrieve_url): Use the canonical URL form when calling
 671         register_download().
 672
 673 2001-12-04  Ian Abbott <abbotti@mev.co.uk>
 674
 675         * snprintf.c (dopr): Use `unsigned int' as the second argument to
 676         va_arg when casting to `unsigned short' is intended.
 677
 678 2001-12-04  Herold Heiko  <Heiko.Herold@previnet.it>
 679
 680         * gen_sslfunc.c: on windows provide ssl crypto random
 681           initialization through RAND_screen(); could possibly
 682           be not enough for strong ssl communication (see the
 683           relevant manual page from the openssl package).
 684
 685 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
 686
 687         * url.c (local_quote_string): Reenable quoting of question marks,
 688         but only when `--html-extension' is used.
 689
 690 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
 691
 692         * version.c: Wget 1.8-beta3 is released.
 693
 694 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
 695
 696         * snprintf.c (dopr): Cast the result of va_arg to short int and
 697         short unsigned int where these types are expected to be used.
 698
 699 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
 700
 701         * snprintf.c (dopr): Replace `short int' and `unsigned short int'
 702         with `int' when using it as the second argument to `va_arg'.
 703
 704 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
 705
 706         * host.c (address_list_new_one): New function.
 707         (lookup_host): Use it.
 708
 709 2001-12-03  Andre Majorel  <amajorel@teaser.fr>
 710
 711         * host.c (lookup_host): Don't initialize TMPSTORE directly because
 712         it's not legal C.
 713
 714 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
 715
 716         * ftp-basic.c (ftp_port): Don't return HOSTERR if we fail getting
 717         the socket data.
 718
 719         * ftp.c: Ditto.
 720
 721         * http.c: No need to declare h_errno.
 722
 723         * host.c: Declare h_errno.
 724
 725 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
 726
 727         * utils.c (file_merge): If BASE doesn't contain a slash, just
 728         return a copy of FILE.
 729
 730 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
 731
 732         * version.c: Wget 1.8-beta2 is released.
 733
 734 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
 735
 736         * ftp.c (getftp): When PWD fails, assume "/".
 737
 738         * ftp-basic.c (ftp_syst): Fix indentation.
 739
 740 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
 741
 742         * url.c (get_urls_file): If opt.base_href is specified, merge each
 743         URL with the base.
 744
 745 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
 746
 747         * main.c (print_help): Don't document the removed `-nh'.
 748
 749 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
 750
 751         * url.c (url_full_path): Document better.
 752
 753         * http.c (gethttp): Use the full path when creating digest
 754         authorization.
 755
 756 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
 757
 758         * cookies.c (path_matches): Return 0 if PREFIX doesn't begin with
 759         '/'.
 760
 761 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
 762
 763         * cookies.c (path_matches): FULL_PATH doesn't begin with '/', but
 764         PREFIX does.
 765
 766 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
 767
 768         * cookies.c (check_domain_match): Reimplement to match Netscape's
 769         "preliminary specification" for cookies.
 770
 771 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
 772
 773         * url.c (replace_attr_refresh_hack): New function.
 774         (convert_links): Call replace_attr_refresh_hack for Refresh
 775         links.  It will add the "TMOUT; URL=" junk before the link.
 776
 777         * html-url.c (collect_tags_mapper): Set ID to the ID of the
 778         "content" attribute, not "http-equiv".
 779         (collect_tags_mapper): Don't use OFFSET to hack the raw_* values;
 780         instead, store the information that this entry belongs to a
 781         "refresh" link.
 782
 783 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
 784
 785         * version.c: Wget 1.8-beta1 is released.
 786
 787 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
 788
 789         * recur.c (retrieve_tree): Allow -p retrievals to exceed maximum
 790         depth by more than one.
 791
 792 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
 793
 794         * retr.c (retrieve_url): Don't allow more than 20 redirections.
 795
 796 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
 797
 798         * recur.c (retrieve_tree): Skip the non-inline entries when
 799         enqueuing the children of a leaf HTML node in -p mode.
 800         (descend_url_p): Ignore opt.no_parent when in -p mode and UPOS is
 801         "inline".
 802
 803         * html-url.c (get_urls_html): Don't accept dash_p_leaf_HTML.
 804         (collect_tags_mapper): When an entry is "inline", mark it as such.
 805
 806         * recur.c (descend_url_p): Fix test when checking for
 807         acceptance/rejection rules.
 808
 809 2001-10-31 Daniel BODEA <dali@dali-designs.com>
 810
 811         * netrc.c (search_netrc): When slack_default is 0, still look for
 812         an account with matching password, just not the "default account".
 813         HTTP Authorization using .netrc should now work as expected.
 814
 815 2001-11-30  T. Bharath  <TBharath@responsenetworks.com>
 816
 817         * http.c (persistent_available_p): Call SHUTDOWN_SSL if
 818         test_socket_open fails.
 819
 820 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
 821
 822         * progress.c (display_image): Just print one CR to reset the
 823         cursor position.
 824
 825 2001-11-30  Christian Fraenkel  <c.fraenkel@gmx.net>
 826
 827         * init.c: New command `ssl_egd_sock'.
 828
 829         * main.c (main): New option `--sslegdsock'.
 830
 831         * gen_sslfunc.c (ssl_init_prng): Seed the RNG using EGD.
 832
 833 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
 834
 835         * cmpt.c (memmove): Include a simple memmove implementation.
 836
 837 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
 838
 839         * headers: Guard against header files being included twice.
 840
 841 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
 842
 843         * gen-md5.c: Use unsigned char * as the buffer argument to
 844         gen_md5_update.
 845
 846 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
 847
 848         * connect.h: Declare select_fd.
 849
 850 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
 851
 852         * recur.c (descend_url_p): When resolving no_parent, compare with
 853         start_url, not parent url.  Otherwise link from /a/b/ to /a/c/
 854         wouldn't be followed, although the download started from /a/.
 855
 856 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
 857
 858         * config.h.ms, mswindows.h: defined HAVE_ISATTY, use _isatty for
 859         MS VC; somebody with Borland compiler please check and provide
 860         patch if possible;
 861
 862         * cmpt.c: provided a usleep emulation.
 863
 864 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
 865
 866         * host.c (address_list_new): Initialize al->faulty.
 867
 868 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
 869
 870         * http.c (http_process_range): Accept the broken output of
 871         "JavaWebServer/1.1.1".
 872
 873 2001-11-28  Hrvoje Niksic  <hniksic@arsdigita.com>
 874
 875         * progress.c (dot_set_params): If PARAMS is unspecified, use
 876         dot_style, if available.
 877
 878         * init.c: Ditto.
 879
 880         * main.c (main): Resurect --dot-style.
 881
 882         * progress.c (dot_finish): Print the quantity if we're left at the
 883         beginning of a row.
 884
 885 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
 886
 887         * cmpt.c (random): Removed.
 888
 889         * retr.c (sleep_between_retrievals): Use the more portable rand()
 890         instead of random().
 891
 892 2001-11-27  Ian Abbott <abbotti@mev.co.uk>
 893
 894         * retr.c (retrieve_from_file): Initialize `new_file' to NULL to
 895         prevent seg fault.
 896
 897 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
 898
 899         * connect.c (connect_to_many): Use address_list_set_faulty to
 900         prevent the faulty address from being reused.
 901
 902         * host.c (address_list_set_faulty): New function.
 903         (address_list_get_bounds): New function, instead of
 904         address_list_count.
 905
 906 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
 907
 908         * url.c (convert_links): Don't translate %d-%d.
 909
 910         * main.c (print_help): Remove stray HAVE_RANDOM code.
 911
 912 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
 913
 914         * ftp.c (getftp): Improve output after sending PASV.  Don't
 915         attempt to "look up" the IP address we already know; call
 916         connect_to_one directly.
 917
 918 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
 919
 920         * progress.c: Change the default progress implementation to "bar".
 921
 922 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
 923
 924         * progress.c (bar_create): Print two newlines.
 925
 926 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
 927
 928         * cmpt.c (random): New function, a simple-minded replacement for
 929         random() on systems that don't have it.
 930
 931 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
 932
 933         * config.h.in: Put a HAVE_USLEEP stub.
 934
 935         * cmpt.c (usleep): Replacement implementation of usleep using
 936         select.
 937
 938         * init.c: New option init_rate.
 939
 940         * main.c (main): New option --limit-rate.
 941
 942         * retr.c (limit_bandwidth): New function.
 943         (get_contents): Call it to limit the bandwidth used when
 944         downloading.
 945
 946         * progress.c (dot_update): Would print the wrong download speed on
 947         rows other than the first one when the download was continued.
 948         (dot_finish): Ditto.
 949
 950 2001-11-26  Ian Abbott <abbotti@mev.co.uk>
 951
 952         * http.c (gethttp): fix undeclared variable 'err' when compiled
 953         with HAVE_SSL.
 954
 955 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
 956
 957         * progress.c: Don't allocate new timers; use the timing data
 958         propagated from the caller.
 959
 960         * retr.c (get_contents): Allocate and use a timer.
 961
 962 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
 963
 964         * http.c (last_host_ip): Made into an address_list.
 965         (invalidate_persistent): Release pc_last_host_ip.
 966         (register_persistent): Use lookup_host.
 967         (persistent_available_p): Check for equality of hosts using
 968         address_list_match_all.  Call address_list_release.
 969         (http_cleanup): New function.
 970
 971         * ftp.c (getftp): Use lookup_host and connect_to_many.
 972
 973         * http.c (gethttp): Use lookup_host and connect_to_many.
 974
 975         * connect.c (make_connection): Removed.
 976         (connect_to_one): New function.
 977         (connect_to_many): Ditto.
 978         (set_connection_host_name): Ditto.
 979
 980         * host.c (lookup_host): New function; new return type.
 981         (address_list_new): New function.
 982         (address_list_count): Ditto.
 983         (address_list_copy_one): Ditto.
 984         (address_list_delete): Ditto.
 985         (address_list_release): Ditto.
 986         (pretty_print_address): Ditto.
 987
 988 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
 989
 990         * recur.c (retrieve_tree): In case of followed redirection,
 991         blacklist the pre-redirection URL.
 992
 993 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
 994
 995         * recur.c (descend_redirect_p): New function.
 996         (retrieve_tree): Make sure redirections are not blindly followed.
 997
 998 2001-11-04  Alan Eldridge  <alane@geeksrus.net>
 999
1000         * config.h.in: added HAVE_RANDOM.
1001
1002         * options.h: added random_wait to struct options.
1003
1004         * main.c (print_help [HAVE_RANDOM], main): added arg parsing, help
1005         for --random-wait.
1006
1007         * retr.c (sleep_between_retrievals) [HAVE_RANDOM]: added
1008         implementation of random wait times.
1009
1010         * init.c (commands): added "randomwait" keyword.
1011
1012 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1013
1014         * recur.c (descend_url_p): Be more conservative with blacklisting
1015         URLs.
1016         (convert_all_links): Print how many files have been converted, and
1017         how long it took.
1018
1019         * progress.c (create_image): Place the number of downloaded bytes
1020         right after the progress bar.
1021
1022         * utils.c (suffix): Return a pointer into the string.
1023
1024 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1025
1026         * url.c (convert_links): Handle CO_NULLIFY_BASE.
1027
1028         * recur.c (retrieve_tree): Ignore download-ignorable children.
1029         (convert_all_links): Specify CO_NULLIFY_BASE when link_base_p.
1030
1031         * html-url.c (handle_link): Return the newly created urlpos.
1032         (collect_tags_mapper): When dealing with BASE, store the base
1033         reference and mark it as download-ignorable.
1034
1035 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1036
1037         * url.c (convert_links): Attempt to quote '?' as "%3F" when
1038         linking to local files.  Given up on the attempt, as it breaks
1039         local browsing.
1040
1041 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1042
1043         * main.c (private_initialize): Removed.
1044         (main): Don't call private_initialize.
1045
1046         * http.c: Call lookup_host.
1047
1048         * host.c (host_init): Removed.
1049         (add_host_to_cache): Initialize host_name_address_map here, on
1050         demand.
1051         (ngethostbyname): Commented out.
1052
1053         * connect.c (make_connection): Remove dead code; use lookup_host.
1054
1055         * host.c (store_hostaddress): Renamed to lookup_host and reversed
1056         the args.
1057         Removed host_address_name_map and host_slave_master_map.
1058
1059 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1060
1061         * progress.c (dot_create): Align the "[ skipping ... ]" string
1062         with the dots.
1063
1064         * retr.c (rate): Split into two functions: calc_rate and
1065         retr_rate.
1066
1067         * progress.c (create_image): Draw a dummy progress bar even when
1068         total size is unknown.
1069         (display_image): Place the text cursor at the end of the "image".
1070
1071 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1072
1073         * url.c (reencode_string): Use unsigned char, not char --
1074         otherwise the hex digits come out wrong for 8-bit chars such as
1075         nbsp.
1076         (lowercase_str): New function.
1077         (url_parse): Canonicalize u->url if needed.
1078         (get_urls_file): Parse each URL, and return only the valid ones.
1079         (free_urlpos): Call url_free.
1080         (mkstruct): Add :port if the port is non-standard.
1081         (mkstruct): Append the query string to the file name, if any.
1082         (urlpath_length): Use strpbrk_or_eos.
1083         (uri_merge_1): Handle the cases where LINK is an empty string,
1084         where LINK consists only of query, and where LINK consists only of
1085         fragment.
1086         (convert_links): Count and report both kinds of conversion.
1087         (downloaded_file): Use a hash table, not a list.
1088         (downloaded_files_free): Free the hash table.
1089
1090         * retr.c (retrieve_from_file): Ditto.
1091
1092         * main.c (main): Call either retrieve_url or retrieve_tree
1093         for each URL, not both.
1094
1095         * retr.c (register_all_redirections): New function.
1096         (register_redirections_mapper): Ditto.
1097         (retrieve_url): Register the redirections.
1098         (retrieve_url): Make the string "Error parsing proxy ..."
1099         translatable.
1100
1101         * res.c (add_path): Strip leading slash from robots.txt paths so
1102         that the path representations are "compatible".
1103         (free_specs): Free each individual path, too.
1104         (res_cleanup): New function.
1105         (cleanup_hash_table_mapper): Ditto.
1106
1107         * recur.c (url_queue_new): New function.
1108         (url_queue_delete): Ditto.
1109         (url_enqueue): Ditto.
1110         (url_dequeue): Ditto.
1111         (retrieve_tree): New function, replacement for recursive_retrieve.
1112         (descend_url_p): New function.
1113         (register_redirection): New function.
1114
1115         * progress.c (create_image): Cosmetic changes.
1116
1117         * init.c (cleanup): Do all those complex cleanups only if
1118         DEBUG_MALLOC is defined.
1119
1120         * main.c: Removed --simple-check and the corresponding
1121         simple_host_check in init.c.
1122
1123         * html-url.c (handle_link): Parse the URL here, and propagate the
1124         parsed URL to the caller, who would otherwise have to parse it
1125         again.
1126
1127         * host.c (xstrdup_lower): Moved to utils.c.
1128         (realhost): Removed.
1129         (same_host): Ditto.
1130
1131 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1132
1133         * utils.c (path_simplify): Preserver the (non-)existence of
1134         leading slash.  Return non-zero if changes were made.
1135
1136 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1137
1138         * progress.c (bar_update): Don't modify bp->total_length if it is
1139         zero.
1140
1141 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1142
1143         * retr.c (retrieve_url): When the redirection URL doesn't parse,
1144         print the correct error message rather than "UNKNOWN".
1145
1146 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1147
1148         * progress.c (bar_finish): If the timer didn't record any time
1149         since the download beginning, fake 1ms.
1150
1151 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1152
1153         * recur.c (recursive_retrieve): Fix typo.
1154
1155 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
1156
1157         * progress.c (create_image): Don't translate "%ld ".
1158
1159 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
1160
1161         * progress.c (bar_set_params): Allow the user to force the use of
1162         the bar.
1163
1164 2001-11-23  Lemble Gregory  <gregory.lemble@st.com>
1165
1166         * gen_sslfunc.c (ssl_init_prng): New function; seed the SSL RNG.
1167
1168 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
1169
1170         * progress.c: Renamed dp_* functions to dot_* for greater clarity
1171         and consistency with bar_*.
1172         (print_download_speed): Get rid of the unneeded '@' character.
1173         (create_image): Fix download rate geometry.
1174
1175         * progress.c (print_elapsed): Remove spurious space.
1176         (print_elapsed): Renamed to print_download_speed, since that's
1177         what it does.
1178
1179 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
1180
1181         * progress.c (bar_update): If the downloaded amount becomes larger
1182         than the expected amount, adjust the expected amount accordingly.
1183
1184 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
1185
1186         * utils.c (determine_screen_width): New function.
1187
1188         * main.c (main): New option `--progress=TYPE'.
1189         (main): Implement compatibility with the old option `--dot-style'.
1190
1191         * init.c: Removed cmd_spec_dotstyle -- that logic is now in
1192         dp_set_params.
1193         (cmd_spec_progress): New function.
1194
1195         * retr.c (get_contents): Use the progress_* functions instead of
1196         the old show_progress().
1197         (show_progress): Removed.
1198         (rate): Print "xxxx.xx K/s" instead of "KB/s".  Ditto for MB/s,
1199         etc.
1200
1201         * progress.c (set_progress_implementation): New function.
1202         (valid_progress_implementation_p): Ditto.
1203         (progress_create): Ditto.
1204         (progress_update): Ditto.
1205         (progress_finish): Ditto.
1206         (dp_create): Ditto.
1207         (dp_update): Ditto.
1208         (dp_finish): Ditto.
1209         (dp_set_params): Ditto.
1210         (print_elapsed): Ditto.
1211
1212 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
1213
1214         * retr.c (show_progress): Use it.
1215
1216         * log.c (log_set_flush): New function.
1217
1218 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
1219
1220         * utils.c (path_simplify): Don't remove trailing slashes.
1221
1222         * ftp.c (ftp_get_listing): Use it.
1223
1224         * utils.c (file_merge): New function.
1225
1226         * url.c (opt_url): Removed.
1227
1228         * recur.c (recursive_retrieve): Inline "opt_url" logic.
1229
1230         * main.c (main): Use xfree(), not free().
1231
1232         * url.c (rewrite_url_maybe): Renamed to rewrite_shorthand_url.
1233
1234         * ftp.c (ccon): Move `ccon' typedef here, since it's only used
1235         internally.
1236
1237         * config.h.in: Include a stub for HAVE_STRPBRK.
1238
1239         * cmpt.c (strpbrk): Include a replacement for systems without
1240         strpbrk().
1241
1242         * ftp.c: Use url_set_dir and url_set_file when modifying the URL.
1243
1244         * url.c (url_set_dir): New function.
1245         (url_set_file): Ditto.
1246
1247         * ftp-basic.c (ftp_process_type): Process FTP type here; the URL
1248         parser makes the URL "params" available, so we can do that in this
1249         function.
1250
1251         * retr.c: Ditto.
1252
1253         * ftp.c: Ditto; pass the local file information in `ccon'.
1254
1255         * http.c: Get rid of the ugly kludge that had URL being replaced
1256         with the proxy URL when proxy retrieval was requested.  Use a
1257         separate parameter to http_loop and gethttp for the proxy URL.
1258
1259         * http.c: Changed to reflect the fact that local file, proxy, and
1260         referer information are no longer stored in struct url.  The local
1261         file information is passed in `struct hstat' now.
1262
1263         * url.c: Reworked URL parsing to be more regular.  Reencode the
1264         URL using reencode_string.
1265         Removed non-URL-related information from struct url.  This
1266         includes fields `proxy', `local', and `referer'.
1267
1268 2001-11-22  Jochen Hein  <jochen@jochen.org>
1269
1270         * main.c (main): Split the copyright notice for easier
1271         translation.
1272
1273 2001-08-21  Dave Turner <dct25@hermes.cam.ac.uk>
1274
1275         * ftp-basic.c (ftp_size): New function to send non-standard SIZE
1276           command to server to request file size.
1277         * ftp.h (ftp_size): Export it.
1278         * ftp.c (getftp): Use new ftp_size function if restoring
1279           transfer of a file with unknown size.
1280
1281 2001-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
1282
1283         * url.c (parseurl): Don't depend on the now-obsolete TYPE.
1284
1285 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1286
1287         * url.c (getproxy): Handle URL shorthands.
1288
1289 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1290
1291         * main.c: Remove --wait / --waitretry backwards compatibility
1292         code.
1293
1294 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1295
1296         * main.c (main): Use it.
1297
1298         * url.c (rewrite_url_maybe): New function.
1299
1300 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1301
1302         * url.c: Clean up handling of URL schemes.
1303
1304 2001-05-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1305
1306         * url.c: Get rid of `protostrings'.
1307         (skip_proto): Don't use protostrings.
1308         (has_proto): Ditto.
1309
1310 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1311
1312         * Makefile.in: Conditionally compile getopt.o.
1313
1314 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1315
1316         * md5.h: Renamed to gnu-md5.h.
1317
1318         * md5.c: Renamed to gnu-md5.c.
1319
1320         * http.c: Ditto.
1321
1322         * ftp-opie.c: Use the new macros.
1323
1324         * sysdep.h: Define md5-related macros.
1325
1326         * config.h.in: Define HAVE_SOLARIS_MD5 or HAVE_BUILTIN_MD5
1327         depending on which md5 implementation is used.
1328
1329 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1330
1331         * res.c (res_register_specs): Initialize OLD and HP_OLD to appease
1332         the compiler.
1333
1334 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1335
1336         * http.c (gethttp): Print the whole response line when printing
1337         headers is requested.
1338
1339 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1340
1341         * res.c: New file.  Implement all RES-related code here.
1342
1343 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1344
1345         * version.c: Wget 1.7.1 is released.
1346
1347 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1348
1349         * headers.c (header_extract_number): Ignore trailing whitespace.
1350
1351 2001-08-24  Ian Abbott  <abbotti@mev.co.uk>
1352
1353         * html-url.c (collect_tags_mapper): Fix bug converting links
1354         with -k option for tags with multiple link attributes by
1355         handling links in the order they appear.
1356
1357 2001-08-15  Ian Abbott  <abbotti@mev.co.uk>
1358
1359         * ftp.c (ftp_loop_internal): Avoid a potential buffer overflow in
1360           the call to the 'rate' function by moving it past the error
1361           checking for the 'getftp' function return value.
1362
1363 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1364
1365         * html-parse.c (advance_declaration): Use 0x22 instead of '"' or
1366         '\"'.  Different compilers' assert macros are broken in different
1367         ways.
1368
1369 2001-09-29  Christian Fraenkel  <c.fraenkel@gmx.net>
1370
1371         * http.c (gethttp): print debug output for errors occuring during
1372         the ssl handshake.
1373
1374 2001-11-16  Chris Seawood  <cls@seawood.org>
1375
1376         * init.c: Ditto.
1377
1378         * host.c: Ditto.
1379
1380         * connect.c: Ditto.
1381
1382         * sysdep.h: Support compilation under BEOS.
1383
1384 2001-06-08  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
1385
1386         * url.c (url_equal): Fix a memory leak when parseurl returns an
1387         error on the second URL. Also, since url_equal is not used at the
1388         moment, do not compile it.
1389
1390         * url.h: Ditto for the prototype of url_equal.
1391
1392 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1393
1394         * html-parse.c (map_html_tags): Support XML-style empty tags.
1395
1396 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1397
1398         * wget.h (DO_REALLOC_FROM_ALLOCA): Check for do_realloc_newsize in
1399         loop condition because we're no longer setting SIZEVAR here.
1400
1401 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1402
1403         * wget.h (DO_REALLOC_FROM_ALLOCA): Set SIZEVAR after the memcpy()
1404         call because it needs the old value.
1405
1406 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1407
1408         * cookies.c (ATTR_NAME_CHAR): Allow almost any character to be in
1409         an attribute name.
1410
1411 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1412
1413         * url.c (url_filename): Make sure that slashes that sneak in to
1414         u->file via query string get protected.
1415         (file_name_protect_query_string): New function.
1416
1417 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1418
1419         * recur.c (recursive_retrieve): Also check undesirable_urls with
1420         canonicalized URL.
1421
1422 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1423
1424         * http.c (gethttp): Search `.netrc' with real host, not the proxy
1425         one.
1426
1427 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1428
1429         * sysdep.h (MAP_FAILED): Provide MAP_FAILED for systems that don't
1430         define it.
1431
1432 2001-06-09  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
1433
1434         * ftp.h: Provide correct prototype for ftp_parse_ls().
1435
1436 2001-06-04  Hrvoje Niksic  <hniksic@arsdigita.com>
1437
1438         * version.c: Wget 1.7 is released.
1439
1440 2001-06-03  Karl Eichwalder  <ke@suse.de>
1441
1442         * ftp-ls.c (ftp_parse_ls): Fix typo.
1443
1444 2001-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1445
1446         * all: Update copyright information.
1447
1448 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1449
1450         * http.c (gethttp): Indicate that the continued download failed
1451         for *this* file.
1452
1453 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1454
1455         * version.c: Wget 1.7-pre1 is released.
1456
1457 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1458
1459         * version.c: Updated version to 1.7-pre1.
1460
1461 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1462
1463         * gen_sslfunc.c: Don't include <sys/time.h> directly.
1464
1465 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1466
1467         * http.c (gethttp): Use real URL data for cookies, not the proxy
1468         stuff.
1469
1470 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1471
1472         * main.c (print_help): Document `--no-http-keep-alive'.
1473
1474         * utils.c (numdigit): Handle negative numbers *correctly*.
1475
1476         * hash.c (make_nocase_string_hash_table): Use term "nocase" rather
1477         than the confusing "unsigned".
1478
1479         * utils.c (string_set_contains): Renamed from string_set_exists.
1480
1481         * hash.c (hash_table_contains): Renamed from hash_table_exists.
1482
1483         * cookies.c: Move case-insensitive hash tables to hash.c.
1484
1485 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
1486
1487         * http.c (gethttp): Before concluding that the file is already
1488         fully retrieved, make sure that the file existed and `Range' was
1489         actually requested.
1490
1491 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
1492
1493         * cookies.c (eliminate_dups): New function.
1494         (build_cookies_request): Use it.
1495         (build_cookies_request): Set chain_store_size after reallocating
1496         all_chains.
1497         (check_domain_match): Annotated for easier future debugging.
1498         (store_cookie): In the debug message, print whether the cookie is
1499         permanent.
1500
1501 2001-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
1502
1503         * http.c (http_loop): Reset no_truncate before deciding whether to
1504         set it.
1505         (gethttp): Further clarify "-c conflicts with existing file" error
1506         message, based on input from Herold Heiko.
1507
1508 2001-05-07  Hrvoje Niksic  <hniksic@arsdigita.com>
1509
1510         * http.c (http_loop): If restval is set, set no_truncate to 1
1511         unconditionally.
1512
1513 2001-05-02  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
1514
1515         * ftp-ls.c (ftp_parse_winnt_ls): Assure months are being correctly
1516         converted. Pointed out by <Stefan.Weil@de.heidelberg.com>.
1517         (ftp_parse_vms_ls): Ditto.
1518
1519 2001-04-30  Hrvoje Niksic  <hniksic@arsdigita.com>
1520
1521         * init.c (cmd_address): Zero SIN before using it; apparently
1522         needed on *BSD.
1523
1524 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1525
1526         * ftp.c (ftp_loop_internal): Don't set NO_TRUNCATE if the file is
1527         empty.
1528
1529 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1530
1531         * main.c (main): Make `--cookies' respect its argument.
1532
1533 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
1534
1535         * main.c (main): Removed undocumented option `--email-address'.
1536
1537         * netrc.c: Use the latest read_whole_line.
1538
1539         * init.c (defaults): Set opt.ftp_pass to "-wget@".
1540
1541         * mswindows.c (pwd_cuserid): Ditto.
1542
1543         * utils.c (pwd_cuserid): Removed.
1544
1545         * host.c (ftp_getaddress): Removed.
1546
1547 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
1548
1549         (http_loop): Allocate space for filename_plus_orig_suffix with
1550         alloca; this is more efficient and removes the need to free it
1551         before each and every return.
1552
1553 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
1554
1555         * http.c (gethttp): Return RETRUNNEEDED when the retrieval is
1556         unneeded because the file is already there and fully downloaded,
1557         and -c is specified.
1558         (http_loop): Handle RETRUNNEEDED.
1559
1560         * wget.h (uerr_t): New value RETRUNNEEDED.
1561
1562         * http.c (http_loop): Set no_truncate for files that both exist
1563         and are non-empty.
1564         (gethttp): Consider the download finished when restval >= contlen,
1565         not only when restval==contlen.
1566         (gethttp): Handle redirection before giving up due to -c.
1567         (gethttp): Clarify error message which explains that -c will not
1568         truncate the file.
1569         (gethttp): When returning CONTNOTSUPPORTED, don't forget to free
1570         the stuff that needs freeing and release the socket.
1571
1572 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1573
1574         * main.c (print_help): Wget booleans accept "off", not "no".
1575
1576 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1577
1578         * http.c (http_loop): If allow_cache is zero, always disable
1579         caching, not only when retrieving through proxy.
1580
1581         * init.c: Ditto.
1582
1583         * options.h (struct options): Rename proxy_cache to allow_cache.
1584
1585 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1586
1587         * http.c (mktime_from_utc): Improve documentation.
1588         (http_atotm): Put format strings into a separate array.
1589
1590 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1591
1592         * safe-ctype.h: Instead of throwing #error when isalpha is
1593         defined, redefine it to something that will throw a compile-time
1594         error if actually *used*.  Do the same for the rest of the
1595         standard C macros.
1596
1597 2001-04-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1598
1599         * url.c (getproxy): Ignore empty proxy vars.
1600
1601 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1602
1603         * http.c (http_loop): Would load cookies every time.
1604
1605         * cookies.c (load_cookies): Handle cookies whose values contain
1606         embedded spaces.
1607
1608 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1609
1610         * utils.c: Define each DIGITS_* in one line.
1611
1612 2001-04-25  Roger L. Beeman  <beeman@cisco.com>
1613
1614         * http.c (http_atotm): Initialize t.tm_isdst to 0.
1615         (mktime_from_utc): Prevent mktime() from having discontinuities at
1616         DST transition points.
1617
1618 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1619
1620         * html-url.c (get_urls_html): Fix documentation.
1621
1622 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1623
1624         * url.c (UNSAFE_CHAR): Reimplement using a static table.
1625         (url_init): Removed.
1626         (init_unsafe_char_table): Removed.
1627
1628 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1629
1630         * snprintf.c (dopr): Replace ISDIGIT with '0' <= ch && ch <= '9'.
1631
1632 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1633
1634         * utils.c: Document timer functions.
1635
1636         * retr.c (rate): Use it.
1637         (rate): Print in GB/s if transfer rate exceeds 1 GB/s.
1638
1639         * utils.c (wtimer_granularity): New function.
1640
1641 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1642
1643         * retr.c (show_progress): Ditto.
1644
1645         * ftp.c (getftp): Ditto.
1646
1647         * http.c (gethttp): Use new timer functions.
1648
1649         * utils.c (wtimer_allocate): New function.
1650         (wtimer_new): Ditto.
1651         (wtimer_delete): Ditto.
1652         (wtimer_reset): Ditto.
1653         (wtimer_elapsed): Ditto.
1654
1655 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1656
1657         * utils.c (long_to_string): New, faster version.  Favors smaller
1658         numbers; much of the calculation is now done at compile-time.
1659
1660 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1661
1662         * utils.c (numdigit): Handle negative numbers.
1663
1664 2001-04-23  Hrvoje Niksic  <hniksic@arsdigita.com>
1665
1666         * retr.c (show_progress): Print the download rate even when the
1667         percentages are not available.
1668
1669 2001-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
1670
1671         * ftp.c (getftp): Adjust expected_bytes if the length is
1672         authoritative.
1673
1674 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1675
1676         * url.c: Don't declare `construct'.
1677
1678         * hash.c (grow_hash_table): Speed up rehashing; inline storing of
1679         mappings to new locations.
1680         (hash_table_new): Make resize_threshold a field in the hash table,
1681         so we don't have to recalculate it in each hash_table_put.
1682         (grow_hash_table): Update resize_threshold.
1683         (MAX): Remove unused macro.
1684         (prime_size): Made static.
1685
1686 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1687
1688         * retr.c (retrieve_url): Call uri_merge, not url_concat.
1689
1690         * html-url.c (collect_tags_mapper): Call uri_merge, not
1691         url_concat.
1692
1693         * url.c (mkstruct): Use encode_string instead of xstrdup followed
1694         by URL_CLEANSE.
1695         (path_simplify_with_kludge): Deleted.
1696         (contains_unsafe): Deleted.
1697         (construct): Renamed to uri_merge_1.
1698         (url_concat): Renamed to uri_merge.
1699
1700 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1701
1702         * url.c (str_url): Use encode_string instead of the unnecessary
1703         CLEANDUP.
1704         (encode_string_maybe): New function, returns input string if no
1705         encoding is needed.
1706         (encode_string): Call encode_string_maybe to do the dirty work,
1707         xstrdup if no work needed.
1708
1709 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1710
1711         * wget.h (XDIGIT_TO_xchar): Define here.
1712
1713         * url.c (decode_string): Use new name.
1714         (encode_string): Ditto.
1715
1716         * http.c (XDIGIT_TO_xchar): Rename HEXD2asc to XDIGIT_TO_xchar.
1717         (dump_hash): Use new name.
1718
1719         * wget.h: Rename ASC2HEXD and HEXD2ASC to XCHAR_TO_XDIGIT and
1720         XDIGIT_TO_XCHAR respectively.
1721
1722 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1723
1724         * init.c: Include cookies.h.
1725
1726         * cookies.h: Declare cookies_cleanup.
1727
1728         * cookies.c (check_domain_match): Remove unused variable.
1729         (save_cookies): Remove extraneous argument from debug statement.
1730
1731         * host.c (same_host): Don't call skip_url.
1732
1733         * url.c (skip_url): Removed.  Removed its calls from various
1734         functions in url.c.
1735
1736 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1737
1738         * cookies.c (unsigned_string_hash): Use the new code in
1739         string_hash as reference.
1740
1741         * hash.c (hash_table_map): Allow deletion and change of the
1742         element processed by MAPFUN.
1743         (string_hash): Use the function from glib.
1744
1745 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1746
1747         * config.h.in: Include #undef stub.
1748
1749         * hash.c (hash_table_remove): Rewrite to actually clear deleted
1750         entries instead of just marking them as deleted.
1751
1752 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1753
1754         * hash.h: Declare hash_table_get_pair and hash_table_count.
1755
1756 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1757
1758         * cookies.c: Declare http_atotm.
1759
1760 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1761
1762         * ftp-ls.c (ftp_parse_unix_ls): Use octal constants for
1763         permissions.  A compiler that doesn't accept octal constants is
1764         seriously broken and shouldn't be used -- octal constants were
1765         present in K&R C!
1766
1767 2001-01-20  Karl Eichwalder  <ke@suse.de>
1768
1769         * Makefile.in: Provide and use DESTDIR according to the Coding
1770         Standards.
1771
1772 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1773
1774         * ftp-ls.c (ftp_parse_vms_ls): Make seconds optional in time
1775         specification.
1776
1777 2001-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1778
1779         * url.c (parseurl): Don't strip trailing slash when u->dir is "/"
1780         because that strips the *leading* slash, thus forcing relative
1781         FTP retrieval.
1782
1783 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
1784
1785         * ftp.c (getftp): Convert initial FTP directory from VMS to UNIX
1786         notation for VMS servers.
1787         (ftp_retrieve_dirs): Do not prepend '/' to f->name when
1788         odir is an empty string.
1789
1790 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
1791
1792         * ftp-ls.c (ftp_parse_winnt_ls): Made the fix for AM/PM more
1793         effective. Suggested by Edward J. Sabol.
1794
1795 2001-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1796
1797         * cookies.c (build_cookies_request): Use and sort cookies from all
1798         matching domains.
1799         (build_cookies_request): Check for duplicates before generating
1800         the `Cookies' header.
1801
1802         * main.c (main): Don't load cookies here.
1803         (main): Make loadcookies and savecookies call the correct command.
1804
1805         * http.c (http_loop): Load cookies on-demand.
1806
1807 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
1808
1809         * http.c (gethttp): Fix indentation of SSL ifdef.
1810
1811 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
1812
1813         * ftp.c (ftp_retrieve_dirs): Don't forcibly prepend "/" to u->dir;
1814         that hack is no longer necessary.
1815         (getftp): Prepend initial directory to *non*-absolute u->dir's.
1816
1817 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
1818
1819         * init.c (cmd_file): New function.
1820         (enable_tilde_expansion): New variable.
1821         (run_wgetrc): Use it.
1822         (cmd_file): Use it.
1823
1824 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
1825
1826         * init.c: Include cookie-related options.
1827
1828         * main.c (main): Include cookie-specific options.
1829         (main): Load cookies before download is finished.
1830         (main): Save cookies when done.
1831
1832         * http.c (gethttp): Process the `Set-Cookie' header.
1833         (gethttp): Include cookies in the response.
1834
1835         * cookies.c: New file.
1836
1837 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
1838
1839         * utils.c (datetime_str): New function.
1840
1841 2001-04-08  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
1842
1843         * ftp-ls.c (ftp_parse_winnt_ls): The AM/PM change did assume
1844         12:01PM == 00:01, which was obviously wrong. Taken care of this
1845         anomaly.
1846
1847         * ChangeLog: Removed an excess conflict marker. Reformatted the
1848         entry by Philipp Thomas from 2001-03-09.
1849
1850         * ftp-ls.c (ftp_parse_winnt_ls): Ensure that adjusted PM hours lay
1851         between 0 and 23. Elminate unused variable `sec'.
1852
1853 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
1854
1855         * hash.c (hash_table_count): New function.
1856
1857 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1858
1859         * utils.c (read_file): Cast MAP_FAILED to char *.  Enforced by
1860         Digital Unix cc.
1861
1862 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1863
1864         * config.h.in: Oops, do the namespace tweaks only on systems we
1865         know about.
1866
1867 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1868
1869         * hash.c: Include <string.h>.
1870
1871 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1872
1873         * config.h.in: Define "compilation environment" options that work
1874         under Linux and Solaris.  To be reviewed on other OS'es.
1875
1876 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1877
1878         * http.c (gethttp): Prepend literal newline with `\n\'.
1879
1880 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1881
1882         * sysdep.h: Don't define VERY_LONG_FORMAT.
1883
1884         * utils.c (very_long_to_string): New function.
1885         (legible_very_long): Use it; don't use VERY_LONG_FORMAT.
1886
1887 2001-04-04  Christian Fraenkel  <christian.fraenkel@gmx.net>
1888
1889         * url.c (parse_uname): Would run past the end of the string if the
1890         username was present, but the URL did not contain a slash, e.g.
1891         http://foo:bar@myhost.
1892
1893 2001-04-03  KOJIMA Hajime  <kjm@rins.ryukoku.ac.jp>
1894
1895         * http.c (http_atotm): Use %A instead of %a to match full
1896         weekday.  (On most systems there is no difference.)
1897
1898 2001-04-03  Paul Bludov  <paul@ozero.net>
1899
1900         * mswindows.c (sleep): Use SleepEx() instead of Sleep().
1901         (ws_changetitle): Use alloca() instead of malloc() to avoid memory
1902         leak.
1903         (ws_mypath): Use GetModuleFileName instead of argv[0].
1904         (ws_startup): Use data.wVersion for comparison.
1905
1906 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
1907
1908         * http.c (http_loop): Ditto.
1909
1910         * ftp.c (ftp_loop_internal): Made the check whether to continue
1911         retrieval `-O'-friendly.
1912
1913 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
1914
1915         * netrc.c (parse_netrc): Don't trim the line endings explicitly;
1916         they will be handled as whitespace.
1917         (parse_netrc): Correctly handle lines that end with whitespace.
1918
1919 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
1920
1921         * retr.c (retrieve_url): New variable global_download_count used
1922         to identify first retrieval.
1923
1924         * ftp.c (getftp): Ditto.
1925
1926         * http.c (gethttp): Rewind opt.dfp only on first retrieval.
1927
1928 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
1929
1930         * init.c (cmd_address): Heap-allocate the address that gets stored
1931         to CLOSURE.  Old code would simply assign an address on the stack.
1932
1933 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
1934
1935         * ftp.c (ftp_get_listing): Propagate error status.
1936         (ftp_retrieve_glob): Use it.
1937         (ftp_loop): Ditto.
1938
1939 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
1940
1941         * main.c (main): Add -C to the string that is the third arg to
1942         getopt_long().
1943
1944 2001-04-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1945
1946         * ftp.c (getftp): Don't start the download from scratch if `-c'
1947         was specified, but the file is already fully downloaded.
1948
1949         * http.c (gethttp): Don't truncate a pre-existing file if `-c' was
1950         specified and the server doesn't support continued download.
1951         (gethttp): Don't start the download from scratch if `-c' was
1952         specified, but the file is already fully downloaded.
1953
1954 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
1955
1956         (recursive_retrieve): Don't clear the hash tables at this point at
1957         all; it interferes with the normal operation of register_download.
1958
1959 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
1960
1961         * recur.c (recursive_retrieve): Clear the hash tables only when
1962         they are defined.
1963
1964 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
1965
1966         * http.c (gethttp): Make sure the socket is closed with
1967         CLOSE_INVALIDATE before we have drained the body.
1968
1969 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
1970
1971         * retr.c (retrieve_url): Call register_download() for downloaded
1972         files and register_html() for downloaded HTML files.
1973
1974         * recur.c (register_download): New function; register here that a
1975         file has been downloaded, rather than in recursive_retrieve().
1976         (register_html): New function; enqueue the location of HTML files
1977         here rather than in recursive_retrieve().
1978
1979 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
1980
1981         * main.c (print_help): Use multiple fputs instead of a single ugly
1982         printf().
1983         (main): Consistently assign numbers >128 to options without a
1984         corresponding character.
1985
1986 2001-03-09  Philipp Thomas  <pthomas@suse.de>
1987
1988         * safe-ctype.h: New file. Locale independent ctype.h replacement
1989         taken from libiberty.
1990
1991         * safe-ctype.c: New file. Tables for above.
1992
1993         * Makefile.in: Add safe-ctype$o to OBJS.  Add dependencies for
1994         safe-ctype$o.
1995
1996         * cmpt.c: Remove include of ctype.h. Use ISSPACE instead of
1997         isspace.
1998
1999         * ftp-basic.c: Don't include ctype.h.
2000
2001         * ftp-ls.c: Likewise.
2002
2003         * ftp.c: Likewise.
2004
2005         * headers.c: Likewise.
2006
2007         * host.c: Likewise.
2008
2009         * html-parse.c: Likewise.
2010
2011         * html-url.c: Likewise.
2012
2013         * http.c: Likewise.
2014
2015         * init.c: Likewise.
2016
2017         * main.c: Likewise. Set LC_CTYPE along with LC_MESSAGES.
2018
2019         * netrc.c: Likewise.
2020
2021         * recur.c: Likewise.
2022
2023         * retr.c: Likewise.
2024
2025         * snprintf.c: Replace ctype.h with safe-ctype.h. Use ISDIGIT
2026         instead of isdigit.
2027
2028         * sysdep.h: Remove defines of ctype macros as they aren't needed
2029         for safe-ctype-h.
2030
2031         * url.c: Don't include ctype.h.
2032
2033         * utils.c: Likewise.
2034
2035         * wget.h: Include safe-ctype.h.
2036
2037 2001-03-27  Dan Harkless  <wget@harkless.org>
2038
2039         * Makefile.in: Moved top_builddir out of "User configuration
2040         section" of top Makefile and analogous spot in this one.
2041
2042 2001-03-17  Dan Harkless  <wget@harkless.org>
2043
2044         * Makefile.in: Include @SSL_INCLUDES@ substition in INCLUDES.
2045         Define top_builddir.  Link wget with libtool so the user doesn't
2046         have to supply a bunch of custom environment variables to
2047         correctly link with the OpenSSL shared libraries.
2048
2049 2001-03-06  Hack Kampbjorn  <hack@hackdata.com>
2050
2051         * http.c (gethttp): skip :port in host header if it is the
2052         DEFAULT_HTTPS_PORT when using SSL.
2053
2054         * url.c: move the #define of DEFAULT_HTTP_PORT, DEFAULT_FTP_PORT
2055         and DEFAULT_HTTPS_PORT to the header file so it can be use in the
2056         rest of the code.
2057         * url.h: Ditto
2058
2059 2001-03-01  Jonas Jensen  <bones@huleboer.dk>
2060
2061         * retr.c (show_progress): Correctly calculate the number of bytes
2062         in the first line of the download that have been actually
2063         downloaded in this run.
2064
2065 2001-02-23  Dan Harkless  <wget@harkless.org>
2066
2067         * main.c (print_help): --help documentation for -N said it would
2068         re-download files if they had the _same_ timestamp on server.
2069         (print_help): -nr belongs in "FTP options" section of --help
2070         output, not "Recursive retrieval" section.  Alphabetized FTP
2071         options by long option name.
2072
2073 2001-02-16  Dan Harkless  <wget@harkless.org>
2074
2075         * init.c (commands): Hack Kampbjørn <hack@hackdata.com> discovered
2076         that "httpsproxy" had been inserted into commands[] out of
2077         alphabetical order, causing "BUG: unknown command `httpuser'".
2078
2079 2001-02-13  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2080
2081         * ftp-ls.c (ftp_parse_ls): Added support of ST_MACOS (Unix-like
2082         listing without correct permissons).
2083
2084         * ftp.h (stype): Added ST_MACOS to identify the NetPresenz MacOS
2085         FTP server.
2086
2087         * ftp.c (ftp_retrieve_list): New mirroring logic: A remote file
2088         shall be donwloaded only when it's newer than the local copy or
2089         when it has the same timeestamp but its size is different. ST_VMS
2090         and ST_MACOS as special cases that lie about file size.
2091
2092         * ftp-ls.c (ftp_parse_ls): Support for ST_MACOS.
2093
2094         * Makefile.in: Removed dependency on ftpparse library due to unclear
2095         copyright issues and absence of any feedback to our queries.
2096
2097         * ftp-ls.c: Removed dependency on ftpparse library due to unclear
2098         copyright issues and absence of any feedback to our queries.
2099         (ftp_parse_ls): Added a warning message when remote server system
2100         does not seem to be suported by wget.
2101         (ftp_parse_vms_ls): New function for parsing VMS ftp
2102         server listing output.
2103         (clean_line): New function responsible for removing
2104         end-of-line characters from FTP listing texts.
2105
2106         * ftp.c (getftp): Global variables pwd and host_type are now
2107         member of the ccon structure under names ccon.id and ccon.rs.
2108
2109         * ftp.h (struct ccon): Added formed global variables from ftp.c,
2110         enum stype rs (remote system identification) and char *id (initial
2111         working directory), as suggested by Hrvoje.
2112
2113         * url.c (parse_uname): Added support for passwords containing '@'
2114         characters.
2115         (skip_uname): Ditto.
2116
2117 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2118
2119         * ftp.c (ftp_loop): Reset con.
2120
2121 2001-01-06  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2122
2123         * url.c (parse_uname): Added support for passwords containing '@'
2124         characters.
2125         (skip_uname): Ditto.
2126
2127 2001-02-11  Hack Kampbjørn  <hack@hackdata.com>
2128
2129         * url.c (parseurl): Debug-print u->ftp_type.
2130
2131 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2132
2133         * ftp.c (ftp_loop_internal): Disable padding.
2134         (getftp): Ditto.
2135
2136         * http.c (http_loop): Disable padding.
2137
2138         * retr.c (show_progress): Use it to enable padding.
2139
2140         * retr.c (rate): Optional parameter PAD for padding the rate.
2141
2142 2001-02-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2143
2144         * retr.c (show_progress): Make sure that the last output line
2145         includes progress.
2146
2147 2001-02-10  Jonas Jensen  <bones@huleboer.dk>
2148
2149         * retr.c (show_progress): Print the download rate along with the
2150         percentages.
2151         Along with Anders Thorsby <anders@thorsby.dk>.
2152
2153 2001-02-10  Tim Mooney  <mooney@dogbert.cc.ndsu.NoDak.edu>
2154
2155         * ftp.h: Rename enums `command' to `wget_ftp_command' and
2156         `fstatus' to `wget_ftp_status' because old names clash with Tru64
2157         net/if.h.
2158
2159 2001-02-08  Christian Fraenkel <christian.fraenkel@gmx.net>
2160
2161         * gen_sslfunc.c: verify_callback is now static
2162
2163         * gen_sslfunc.c (init_ssl): load certificate if specified
2164
2165         * gen_sslfunc.c (ssl_printerr): new function
2166
2167         * init.c: added new --sslcertfile and --sslcertkey switches
2168
2169         * main.c: ditto
2170
2171         * options.h: ditto
2172
2173         * http.c (gethttp): abort when init_ssl fails
2174
2175 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
2176
2177         * mswindows.h: Include <malloc.h>; it's needed for alloca().
2178
2179 2001-01-10  Dan Harkless  <wget@harkless.org>
2180
2181         * url.c (str_url): Clarified this function's comment header after
2182         Hrvoje answered my question on the list as to when hide != 1.
2183         Also Hrvoje pointed out I need to use xstrdup() on the string literal.
2184
2185 2001-01-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2186
2187         * connect.c (bindport): Declare addrlen as int.  Diagnosed by
2188         Drazen Kacar <dave@arsdigita.com>.
2189         (conaddr): Ditto.
2190
2191 2001-01-09  Dan Harkless  <wget@harkless.org>
2192
2193         * html-url.c: A bunch of fixup of `--page-requisites'-related
2194         comments to reflect Hrvoje's changes to my code when transplanting
2195         it into this new file, to fix spelling mistakes, to clarify, etc.
2196
2197         * url.c (write_backup_file): Clarified a comment.
2198         (str_url): Henrik van Ginhoven pointed out on the list that we
2199         shouldn't give away the number of characters in the password by
2200         replacing each character with a 'x'.  Use "<password>" instead.
2201
2202         * ftp.c (ftp_retrieve_dirs): The bug where recursion into FTP
2203         directories didn't work if logging in put you in a directory other
2204         than "/" is fixed now.  Removed the comment here warning of the bug.
2205
2206         * main.c (print_help): --continue's description was misleading.
2207         We don't "restart", we "resume".  Also, better to say
2208         "partially-downloaded file" rather than just "existing file".
2209
2210 2001-01-06  Dan Harkless  <wget@harkless.org>
2211
2212         * ChangeLog: The '[Not in 1.6 branch.]'s were decided not to be
2213         the best way to go about my aim.  Removed them in favor of:
2214
2215         * ChangeLog-branches/1.6_branch.ChangeLog: New file.
2216
2217 2001-01-04  Hrvoje Niksic  <hniksic@arsdigita.com>
2218
2219         * url.c (replace_attr): New function, to be used by both
2220         TO_COMPLETE and TO_RELATIVE case in convert_links.
2221         (find_fragment): New function for finding URL fragments.
2222         (replace_attr): Better handle the case where the original string
2223         is not quoted.  Use find_fragment.
2224         (convert_links): Use replace_attr().
2225
2226 2000-12-31  Dan Harkless  <wget@harkless.org>
2227
2228         * ChangeLog: Since this flat file doesn't have multiple branches,
2229         looking at the dates would make you think that things went into
2230         1.6 that actually just went into the 1.7-dev branch.  Added "[Not
2231         in 1.6 branch.]" where appropriate to clarify.
2232
2233 2000-12-30  Dan Harkless  <wget@harkless.org>
2234
2235         * ftp.c, http.c:  Applied Hack Kampbjørn <hack@hackdata.com>'s
2236         patch to deal with h_errno not being defined in netdb.h under Cygwin.
2237
2238 2000-12-18  Csaba Raduly  <csaba.raduly@sophos.com>
2239
2240         * sysdep.h: Include <malloc.h> and <io.h> under Watcom.
2241
2242 2000-12-17  Igor Khristophorov  <igor@atdot.org>
2243
2244         * http.c (check_end): Fix test for '+' or '-'.
2245
2246 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2247
2248         * url.c (parseurl): Rename inner loop var from i to ind to avoid
2249         clash with the function top-level-declared variable i.
2250         (str_url): Likewise, rename inner-loop i to j.
2251
2252         * recur.c (parse_robots): Don't declare LEN at top of function.
2253         (robots_match): Renamed parameter FORBIDDEN to avoid hiding of
2254         global variable.
2255
2256         * main.c (main): Change erroneous use of bitwise and to logical.
2257
2258         * init.c (cmd_address): Don't heap-allocate `sin'; it can be on
2259         the stack because it will be copied to closure.
2260
2261         Thanks to Csaba Raduly's run of PC-LINT over the sources.
2262
2263 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2264
2265         * http.c (basic_authentication_encode): Use xmalloc(), not
2266         malloc().  Thanks to Csaba Raduly's run of PC-LINT over the
2267         sources.
2268
2269 2000-12-17  Csaba Raduly  <csaba.raduly@sophos.com>
2270
2271         * sysdep.h: Test for __EMX__ rather than for EMXOS2 for OS/2
2272         compilation.
2273
2274 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2275
2276         * mswindows.c: Include <errno.h>.
2277
2278         * gen_sslfunc.c: Include <errno.h>.
2279
2280         * ftp-basic.c: Don't attempt to declare errno or h_errno because
2281         they're not used.
2282
2283         * main.c: Include <errno.h> because errno is used.
2284
2285         * ftp.c: Ditto.
2286
2287         * http.c: Include <netdb.h> for h_errno.
2288
2289 2000-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2290
2291         * html-parse.c (advance_declaration): MSVC assert() chokes on
2292         '\"'.  Use '"' instead.
2293
2294 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2295
2296         * utils.c (xfree_real): Removed.
2297         (xfree_debug): Just call free().
2298
2299         * wget.h (xfree): Make it an alias for free.
2300
2301 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2302
2303         * http.c (http_loop): Furthermore, touch output_document only if
2304         it is known to be an existing regular file.
2305
2306 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2307
2308         * ftp.c (ftp_retrieve_list): Ditto.
2309
2310         * http.c (http_loop): Touch output_document if that is used for
2311         output.
2312
2313 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2314
2315         * http.c: Include gen_sslfunc.h after including Wget's headers.
2316         (persistent_available_p): Needed coma before `int ssl'.
2317
2318 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2319
2320         * ftp.c (ftp_loop_internal): Ditto.
2321
2322         * http.c (http_loop): Use it.
2323
2324         * retr.c (sleep_between_retrievals): New function that handles the
2325         logic of opt.wait and opt.waitretry.
2326
2327 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2328
2329         * rbuf.h: Implement only a single version of RBUF_READCHAR, using
2330         rbuf_read_bufferful when the buffer is depleted.
2331
2332         * rbuf.c (rbuf_read_bufferful): New function.
2333
2334 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2335
2336         * gen_sslfunc.h: Use ansi2knr style function declarations.
2337
2338         * gen_sslfunc.c: Reformat according to the GNU coding standards.
2339         More should be done.
2340
2341         * http.c (persistent_available_p): Place the cheap SSL test nearer
2342         the top of the function.
2343         (CLOSE_FINISH, CLOSE_INVALIDATE): Define only one version of each.
2344
2345 2000-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
2346
2347         * url.c (init_unsafe_char_table): Reinstate space as an unsafe
2348         char.
2349
2350 2000-12-03  Christian Fraenkel <christian.fraenkel@gmx.net>
2351
2352         * Makefile.in: added gen_sslfunc object
2353         * config.h.in: added HAVE_SSL define
2354         * connect.c: changed select_fd from static int to int
2355         * connect.h: ditto
2356         * gen_sslfunc.h: New file
2357         * gen_sslfunc.c: ditto
2358         * http.c: added HTTPS fuctionality
2359         * retrc.c: ditto
2360         * url.c: ditto
2361         * init.c: added opt.httpsproxy
2362         * options.h: ditto
2363         * rbuf.h: added alternate rbuf struct
2364         * wget.h: added CONSSLERR
2365         * rbuf.c: ditto
2366
2367         * http.c: Added HTTPS fuctionality.
2368
2369         * retrc.c: Ditto.
2370
2371         * url.c: Ditto.
2372
2373         * init.c: Added opt.httpsproxy.
2374
2375         * options.h: Ditto.
2376
2377         * rbuf.h: Added alternate rbuf struct.
2378
2379         * wget.h: Added CONSSLERR.
2380
2381         * rbuf.c: Ditto.
2382
2383 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2384
2385         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
2386         "ignore_perms" to ignore file and directory permissions for
2387         Windows NT FTP server listings.
2388         (ftp_parse_winnt_ls): New function.
2389         (ftp_parse_ls): Parses UNIX and Windows NT listings
2390         separately. Simple heuristics for distinguishing between UNIX and
2391         MS-DOS-like FTP listing provided by Windows NT FTP service.
2392
2393 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2394
2395         * ftpparse.c, ftpparse.h: New files.
2396
2397         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
2398         only. Use ftp_parse_nonunix_ls otherwise.
2399         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
2400         exotic FTP servers.
2401
2402         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
2403         FTP servers.
2404
2405         * ftp.c: New static wariables host_type, pwd, and pwd_len.
2406         (getftp): Support for VMS. Support for FTP servers that do not
2407         place you in the root directory after login.
2408         (ftp_retrieve_list): VMS is silent about the real file size, issue
2409         a more appropriate message.
2410         (ftp_get_listing): Pass host_type to ftp_parse_ls.
2411
2412         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
2413
2414 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2415
2416         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
2417         "ignore_perms" to ignore file and directory permissions for
2418         Windows NT FTP server listings.
2419         (ftp_parse_winnt_ls): New function.
2420         (ftp_parse_ls): Parses UNIX and Windows NT listings
2421         separately. Simple heuristics for distinguishing between UNIX
2422         and MS-DOS-like FTP listing provided by Windows NT FTP service.
2423
2424 2000-11-29  John Summerfield  <summer@OS2.ami.com.au>
2425
2426         * netrc.c (parse_netrc): Get rid of line ending.
2427
2428 2000-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2429
2430         * ftp.c (ftp_retrieve_list): Undo typo "fix" until resolution by
2431         Dan.
2432
2433 2000-11-24  Karl Eichwalder  <ke@suse.de>
2434
2435         * main.c (print_help): Untabify.
2436
2437 2000-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2438
2439         * utils.c (xrealloc_debug): Do the unregister/register thing only
2440         if the pointer has actually changed.
2441         (xmalloc_real): Declare `static' in DEBUG_MALLOC builds.
2442         (xfree_real): Ditto.
2443         (xrealloc_real): Ditto.
2444         (xstrdup_real): Ditto.
2445
2446 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
2447
2448         * ftp.c (getftp): ftp_getaddress() returns a malloc'ed copy of the
2449         string; no need to strdup() it.
2450         (getftp): Make pwd_len a local variable.
2451         (ftp_loop): Free PWD before returning.
2452
2453         * init.c (cleanup): Free opt.ftp_pass only if it's non-NULL.
2454
2455 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
2456
2457         * all: Use xfree() instead of free.
2458
2459         * utils.c (xfree): New function.
2460
2461 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2462
2463         * url.c (convert_links): HTML-quote the converted string.
2464
2465         * utils.c (html_quote_string): Move here from ftp-ls.c
2466         (html_quote_string): Make non-static; declare in utils.h.
2467         (html_quote_string): Convert SP to &#32;.
2468
2469 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2470
2471         * ftp.c (getftp): Reformat Jan's code according to GNU coding
2472         standards; remove (debugging?) printf's; use '\0' for the ASCII
2473         zero character.  Use alloca() instead of malloc() for
2474         inter-function temporary allocations.
2475
2476 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2477
2478         * ftpparse.c, ftpparse.h: New files.
2479
2480         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
2481         only. Use ftp_parse_nonunix_ls otherwise.
2482         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
2483         exotic FTP servers.
2484
2485         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
2486         FTP servers.
2487
2488         * ftp.c: New static wariables host_type, pwd, and pwd_len.
2489         (getftp): Support for VMS. Support for FTP servers that do not
2490         place you in the root directory after login.
2491         (ftp_retrieve_list): VMS is silent about the real file size, issue
2492         a more appropriate message.
2493         (ftp_get_listing): Pass host_type to ftp_parse_ls.
2494
2495         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
2496
2497 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2498
2499         * hash.c (hash_table_put): Don't overwrite deleted mappings.
2500
2501 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2502
2503         * hash.c (find_mapping): New function.
2504         (hash_table_get): Use it.
2505         (hash_table_get_pair): Ditto.
2506         (hash_table_exists): Ditto.
2507         (hash_table_remove): Ditto.
2508         (hash_table_remove): Really delete the entry if the mapping
2509         following LOCATION is empty.
2510
2511         * utils.c (string_set_add): Check whether the element has existed
2512         before.
2513
2514         * hash.c (hash_table_get_pair): New function.
2515
2516 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2517
2518         * http.c (http_process_type): Ignore trailing whitespace; use
2519         strdupdelim().
2520
2521         * recur.c (recursive_retrieve): Use the new `convert' field.
2522         (convert_all_links): Ditto.
2523         (convert_all_links): Don't respect meta_disallow_follow.
2524
2525         * html-url.c (handle_link): Fill out link_relative_p and
2526         link_complete_p.
2527
2528         * url.h (struct _urlpos): Make elements more readable.
2529
2530         * recur.c (recursive_retrieve): Call slist_prepend instead of
2531         slist_append.
2532         (convert_all_links): Call slist_nreverse before iterating through
2533         urls_html.
2534
2535         * utils.c (slist_prepend): New function.
2536         (slist_nreverse): Ditto.
2537
2538 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2539
2540         * http.c (check_end): Constify.
2541
2542 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2543
2544         * http.c (http_loop): If username and password are known, try the
2545         `Basic' authentication scheme by default.
2546
2547         * connect.h: Declare test_socket_open.
2548
2549 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2550
2551         * version.c: Bump version from 1.5.3+dev to 1.7-dev.
2552
2553 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2554
2555         * http.c (gethttp): Don't use the return value of sprintf().
2556         (gethttp): Inhibit keep-alive if opt.http_keep_alive is 0.
2557
2558 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2559
2560         * recur.c (recursive_retrieve): Print the "so we don't load"
2561         debugging message only if we really don't load.
2562
2563         * http.c (gethttp): Inhibit keep-alive if proxy is being used.
2564         (gethttp): Don't request keep-alive if keep-alive is inhibited.
2565
2566 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2567
2568         * http.c (gethttp): Make the HTTP persistent connections more
2569         robust.
2570
2571 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2572
2573         * retr.c (get_contents): If use_expected, make sure that the
2574         appropriate amount of data is being read.
2575
2576         * http.c (gethttp): Check for both `Keep-Alive: ...' and
2577         `Connection: Keep-Alive'.
2578
2579         * wget.h (DEBUGP): Call debug_logprintf only if opt.debug is
2580         turned on.
2581
2582 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2583
2584         * http.c (connection_available_p): Use it.
2585
2586         * connect.c (test_socket_open): New function.
2587
2588         * http.c (gethttp): Support persistent connections.  Based on the
2589         ideas, and partly on code, by Sam Horrocks <sam@daemoninc.com>.
2590         (register_persistent): New function.
2591         (connection_available_p): Ditto.
2592         (invalidate_connection): Ditto.
2593
2594 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2595
2596         * url.c (convert_links): Handle UREL2ABS case.
2597
2598         * recur.c (recursive_retrieve): Instead of the list
2599         urls_downloaded, use hash tables dl_file_url_map and
2600         dl_url_file_map.
2601         (convert_all_links): Use them to retrieve data.
2602
2603         * host.c (clean_hosts): Free the hash tables.
2604
2605         * main.c (private_initialize): Call host_init().
2606
2607         * host.c (store_hostaddress): Use a saner, hash table-based data
2608         model.
2609         (realhost): Ditto.
2610         (host_init): Initialize the hash tables.
2611
2612 2000-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2613
2614         * utils.c (slist_append): Eviscerate NOSORT.  Hash tables are now
2615         used for what the sorted slists used to be used for.
2616         (slist_contains): Don't rely on the list being sorted.
2617         (slist_append): Simplify the code.
2618
2619         * recur.c (recursive_cleanup): Use free_string_set.
2620
2621         * utils.c (string_set_add, string_set_exists, string_set_free):
2622         New functions for easier freeing of hash tables whose keys are
2623         strdup'ed strings.
2624
2625         * recur.c (recursive_retrieve): Use the hash table functions for
2626         storing undesirable URLs.
2627
2628         * hash.c: New file.
2629
2630 2000-11-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2631
2632         * main.c (private_initialize): Call url_init.
2633         (main): Call private_initialize.
2634
2635         * url.c (unsafe_char_table): New table.
2636         (UNSAFE_CHAR): Use it.
2637         (init_unsafe_char_table): New function.
2638         (url_init): New function; call init_unsafe_char_table.
2639
2640 2000-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2641
2642         * mswindows.h: Define snprintf and vsnprintf to _snprintf and
2643         _vsnprintf respectively.
2644
2645 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
2646
2647         * config.h.in: Do the _XOPEN_SOURCE and _SVID_SOURCE things only
2648         on Linux.
2649
2650 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
2651
2652         * html-url.c (handle_link): Handle HTML fragment identifiers.
2653
2654         * recur.c (recursive_retrieve): If norobot info is respected and
2655         the file is specified not to be followed by robots, respect that.
2656
2657         * html-url.c (collect_tags_mapper): Handle <meta name=robots
2658         content=X>.  For us the important cases are where X is NONE or
2659         where X contains NOFOLLOW.
2660         (get_urls_html): Propagate that information to the caller.
2661
2662 2000-11-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2663
2664         * url.c (convert_links): Unlink the file we might be reading from
2665         before writing to it.
2666         (convert_links): Use alloca instead of malloc for
2667         filename_plus_orig_suffix.
2668
2669 2000-11-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2670
2671         * host.c (realhost): Add HOST to the list with quality==0 only if
2672         it wasn't already there.
2673         Based on analysis by Lu Guohan <feng@public.bjnet.edu.cn>.
2674
2675 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2676
2677         * url.c (get_urls_file): Ditto.
2678         (convert_links): Ditto.
2679
2680         * html-url.c (get_urls_html): Use read_file() instead of
2681         load_file().
2682
2683         * utils.c (read_file): New function, instead of the old
2684         load_file().
2685         (read_file_free): Ditto.
2686
2687         * url.c (findurl): Search only for the supported protocols.
2688         (convert_links): Use fwrite() when writing out a region of
2689         characters.
2690
2691 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2692
2693         * ftp-ls.c: Move html_quote_string and ftp_index here.
2694
2695         * url.c: Remove get_urls_html, since that's now in html-url.c.
2696
2697         * html-url.c: New file.
2698
2699         * html-parse.c: New file.
2700
2701 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2702
2703         * init.c (run_wgetrc): Don't bother killing off '\r' since
2704         pars_line() skips whitespace at end of line anyway.
2705         (parse_line): Oops, it didn't.  Now it does.
2706
2707         * recur.c (parse_robots): Ditto here.
2708
2709         * ftp-ls.c (ftp_parse_unix_ls): Kill off the newline character
2710         manually because read_whole_line no longer does.
2711
2712         * utils.c (read_whole_line): Rewrite to: a) use less memory
2713         (reallocates to needed size after work), b) work faster -->
2714         fgets() instead of getc, c) be more correct --> doesn't kill the
2715         newline character at the end of line.
2716
2717 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2718
2719         * init.c (comind): Initialize MAX to array size - 1.
2720
2721 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2722
2723         * url.c (construct): Changed last_slash[-1] to *(last_slash - 1).
2724         Suggested by Edward J. Sabol.
2725
2726 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2727
2728         * url.c (construct): Handle the case where host name is not
2729         followed by a slash.
2730
2731 2000-11-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2732
2733         * init.c: commands[] need to be sorted!  ("base" wasn't.)
2734
2735 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
2736
2737         * wget.h (DO_REALLOC_FROM_ALLOCA): Use braces to disambiguate
2738         `if'.
2739
2740 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
2741
2742         * url.c (construct): Insert unneeded initialization for the
2743         compiler to shut up.
2744
2745         * config.h.in: Define _XOPEN_SOURCE to 500 to get the prototype
2746         for strptime() (*duh*).  Define _SVID_SOURCE to get S_IFLNK which
2747         otherwise gets lost when you define _XOPEN_SOURCE.
2748
2749         * utils.c (touch): Include the file name in the error message.
2750         From Debian.
2751
2752 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
2753
2754         * log.c (logvprintf): Use vsnprintf() in all cases.  If necessary,
2755         resize the buffer to fit the formated message.  That way, messages
2756         of arbitrary size may be printed.
2757         (logvprintf): Use saved_append() to optionally log the last
2758         several lines of output.
2759         (logputs): Ditto.
2760         (log_close): Adapt to new data structures.
2761         (log_dump): Ditto.
2762         (redirect_output): Print messages to stderr, not to stdout.
2763
2764         * log.c (saved_append_1): New function.  Replaces the old logging
2765         system ("log all output until 10M characters") with a new, much
2766         more reasonable one ("log last screenful of text").
2767         (saved_append): New function; call saved_append_1.
2768         (free_log_line): New function.
2769
2770 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
2771
2772         * url.c (construct): Fix comment.
2773         (find_last_char): Document.
2774
2775 2000-11-04  Hrvoje Niksic  <hniksic@arsdigita.com>
2776
2777         * snprintf.c: New file.
2778
2779 2000-11-03  Hrvoje Niksic  <hniksic@arsdigita.com>
2780
2781         * wget.h: If HAVE_STDARG_H is not defined, don't declare argument
2782         types to logprintf() and debug_logprintf().
2783
2784 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2785
2786         * ftp.c (ftp_loop_internal): Hide the password from the URL when
2787         printing non-verbose.  Problem spotted by Dariusz Mlynarczyk
2788         <darekm@bydg.lomac.com.pl>.
2789
2790 2000-11-02  Junio Hamano  <junio@twinsun.com>
2791
2792         * ftp-basic.c (ftp_login): Make comparison case-insensitive.
2793
2794 2000-11-02  Tyler Riddle  <triddle@liquidmarket.com>
2795
2796         * http.c (known_authentication_scheme_p): Recognize NTML
2797         authentication.
2798         (create_authorization_line): Treat NTML the same as `Basic'.
2799
2800 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2801
2802         * retr.c (retrieve_url): Free url before returning.
2803         (retrieve_url): Free mynewloc before returning.
2804         Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
2805
2806 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2807
2808         * url.c (parseurl): Remove possible reading past the end of
2809         sup_protos[].  Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
2810
2811 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2812
2813         * main.c (main): In case of opt.downloaded overflowing, print
2814         <overflow> instead of a totally bogus random value.
2815
2816         * retr.c (retrieve_from_file): Ditto.
2817
2818         * recur.c (recursive_retrieve): Ditto.
2819
2820         * main.c (main): Ditto.
2821
2822         * http.c (http_loop): Ditto.
2823
2824         * ftp.c (ftp_loop_internal): Use downloaded_increase() instead of
2825         `+=', and downloaded_exceeds_quota() instead of the simple-minded
2826         check.
2827         (ftp_retrieve_list): Ditto.
2828         (ftp_retrieve_dirs): Ditto.
2829         (ftp_retrieve_glob): Ditto.
2830
2831         * retr.c (downloaded_increase): New function.  Notice overflows of
2832         opt.downloaded.
2833         (downloaded_exceeds_quota): Make sure that opt.downloaded is not
2834         used if it overflowed.
2835
2836         * options.h (struct options): New member downloaded_overflow.
2837
2838 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2839
2840         * wget.h (enum): Remove extra space after last enumeration.
2841
2842 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2843
2844         * main.c (main): Use legible_very_long() for printing
2845         opt.downloaded.
2846
2847         * utils.c (legible_1): New function that operates on strings and
2848         does the brunt of legible()'s work.
2849         (legible): Use legible_1().
2850         (legible_very_long): New function; dump the argument with
2851         sprintf(), and call legible_1().
2852
2853         * options.h (struct options): Use VERY_LONG_TYPE for
2854         opt.downloaded.
2855
2856         * sysdep.h (VERY_LONG_TYPE): Define it to have a 64-bit or greater
2857         type.
2858
2859         * config.h.in: Make sure that SIZEOF_LONG and SIZEOF_LONG_LONG get
2860         defined.  Define HAVE_LONG_LONG if long long is available.
2861
2862 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2863
2864         * utils.c (long_to_string): Update with a later, better version.
2865
2866 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2867
2868         * url.c (path_simplify_with_kludge): New function.
2869         (path_simplify_with_kludge): Disable it.  Instead...
2870         (parse_dir): ...make sure that at this point the right thing is
2871         done, i.e. that "query" part of the URL (?...) is always assigned
2872         to the file, never to the directory portion of the path.
2873
2874 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2875
2876         * retr.c (retrieve_url): Detect redirection cycles.
2877
2878 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2879
2880         * url.c (get_urls_html): Decode HTML entities using
2881         html_decode_entities.
2882
2883         * html.c (htmlfindurl): Don't count the `#' in numeric entities
2884         (&#NNN;) as an HTML fragemnt.
2885         (html_decode_entities): New function.
2886
2887 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2888
2889         * html.c (htmlfindurl): Fix recognition of # HTML fragments.
2890
2891 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2892
2893         * url.c (construct): Rewritten for clarity.  Avoids the
2894         unnecessary copying and stack-allocation the old version
2895         performed.
2896
2897 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
2898
2899         * ftp.c (getftp): Ditto.
2900
2901         * http.c (gethttp): Rewind the stream when retrying from scratch.
2902
2903 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
2904
2905         * retr.c (retrieve_url): Use url_concat() to handle relative
2906         redirections instead of /ad hoc/ code.
2907
2908         * url.c (url_concat): New function encapsulating weird
2909         construct().
2910         (urllen_http_hack): New function.
2911         (construct): When constructing new URLs, recognize that `?' does
2912         not form part of the file name in HTTP.
2913
2914 2000-10-13  Adrian Aichner  <adrian@xemacs.org>
2915
2916         * retr.c: Add msec timing support for WINDOWS.
2917         * retr.c (reset_timer): GetSystemTime() on WINDOWS.
2918         * retr.c (elapsed_time): Calculate delta time to msec on WINDOWS.
2919
2920 2000-10-27  Dan Harkless  <wget@harkless.org>
2921
2922         * retr.c (retrieve_url): Manually applied T. Bharath
2923         <TBharath@responsenetworks.com>'s patch to get wget to grok
2924         illegal relative URL redirects.  Reformatted and re-commented it.
2925
2926 2000-10-23  Dan Harkless  <wget@harkless.org>
2927
2928         * connect.c (make_connection and bindport): Manually applied Rob
2929         Mayoff <mayoff@dqd.com>'s 1.5.3 patch to add --bind-address,
2930         changing coding style to GNU's.
2931
2932         * ftp.c (ftp_loop_internal): --delete-after wasn't implemented for
2933         files downloaded via FTP.  Per a comment, .listing files were not
2934         counted towards number of bytes and files downloaded because they're
2935         deleted anyway.  Well, they aren't under -nr, so count them then.
2936
2937         * init.c: Manually applied Rob Mayoff's 1.5.3 patch to add
2938         --bind-address, alphabetizing, changing coding style to GNU's,
2939         commenting, and renaming cmd_ip_address() to cmd_address() to
2940         imply hostnames also okay.
2941
2942         * main.c (main): --delete-after didn't delete the root of the
2943         tree.  Ignore --convert-links if --delete-after was specified.
2944         Manually applied Rob Mayoff's 1.5.3 patch to add --bind-address,
2945         fixing duplicate use of added-since-1.5.3 case value.
2946         (print_help): Clarified that --delete-after deletes local files.
2947         Rob forgot to add a line for his new --bind-address option.
2948
2949         * options.h (struct options): Manually applied Rob Mayoff's patch
2950         to add --bind-address (bind_address structure member).
2951
2952         * recur.c (recursive_retrieve): Improved comment; added DEBUGP().
2953         Ignore --convert-links if --delete-after was specified.
2954
2955         * retr.c (retrieve_from_file): Just added a DEBUGP().
2956
2957 2000-10-19  Dan Harkless  <wget@harkless.org>
2958
2959         * ftp.c (ftp_loop_internal): downloaded_file() enumerators changed.
2960         (getftp): Applied Piotr Sulecki <Piotr.Sulecki@ios.krakow.pl>'s
2961         patch to work around FTP servers that incorrectly respond to the
2962         "REST" command with the remaining size rather than the total file size.
2963
2964         * http.c (gethttp): Improved a comment and added code to tack on
2965         ".html" to text/html files without that extension when -E specified.
2966         (http_loop): Use new downloaded_file() enumerators and deal with
2967         the case of gethttp() called xrealloc() on u->local.
2968
2969         * init.c (commands): Added new "htmlextension" command.
2970         Also renamed John Daily's cmd_quad() to the more descriptive
2971         cmd_lockable_boolean(), alpha-sorted the CMD_DECLARE()s and
2972         removed duplicate cmd_boolean() declaration.
2973
2974         * main.c (print_help): Added my new -E / --html-extension option.
2975         (main): Undocumented --email-address option previously used -E synonym.
2976         Stole it away for the much more deserving --html-extension's use.
2977
2978         * options.h (struct options): Added html_extension field.
2979
2980         * url.c (convert_links): URL X that we saved as X.html locally due
2981         to -E needs to be backed up as X.orig, not X.html.orig.  Added comments.
2982         (downloaded_file): Now remembers if we added .html extension to a file.
2983
2984         * url.h (downloaded_file_t): Added extra enumerators to support above.
2985         (downloaded_file): Now takes and returns a downloaded_file_t.
2986
2987         * wget.h (unnamed "dt" enum): Added ADDED_HTML_EXTENSION enumerator.
2988
2989 2000-10-09  Dan Harkless  <wget@harkless.org>
2990
2991         * html.c (htmlfindurl): Added unneeded initialization to quiet warning.
2992
2993         * main.c (print_help): Clarified what --retr-symlinks does.
2994
2995 2000-09-15  John Daily  <jdaily@cyberdude.com>
2996
2997         * init.c: Add support for "always" and "never" values to allow
2998         .wgetrc to override commandline (useful e.g. with .pm files
2999         calling `wget --passive-ftp' when your firewall doesn't allow that).
3000
3001         * ftp.c (getftp): passive_ftp is first option to support always/never.
3002
3003 2000-08-30  Dan Harkless  <wget@harkless.org>
3004
3005         * ftp.c (ftp_retrieve_list): Use new INFINITE_RECURSION #define.
3006
3007         * html.c: htmlfindurl() now takes final `dash_p_leaf_HTML' parameter.
3008         Wrapped some > 80-column lines.  When -p is specified and we're at a
3009         leaf node, do not traverse <A>, <AREA>, or <LINK> tags other than
3010         <LINK REL="stylesheet">.
3011
3012         * html.h (htmlfindurl): Now takes final `dash_p_leaf_HTML' parameter.
3013
3014         * init.c: Added new -p / --page-requisites / page_requisites option.
3015
3016         * main.c (print_help): Clarified that -l inf and -l 0 both allow
3017         infinite recursion.  Changed the unhelpful --mirrior description
3018         to simply give the options it's equivalent to.  Added new -p option.
3019         (main): Added some comments; handle new -p / --page-requisites.
3020
3021         * options.h (struct options): Added new page_requisites field.
3022
3023         * recur.c: Changed "URL-s" to "URLs" and "HTML-s" to "HTMLs".
3024         Calculate and pass down new `dash_p_leaf_HTML' parameter to
3025         get_urls_html().  Use new INFINITE_RECURSION #define.
3026
3027         * retr.c: Changed "URL-s" to "URLs".  get_urls_html() now takes
3028         final `dash_p_leaf_HTML' parameter.
3029
3030         * url.c: get_urls_html() and htmlfindurl() now take final
3031         `dash_p_leaf_HTML' parameter.
3032
3033         * url.h (get_urls_html): Now takes final `dash_p_leaf_HTML' parameter.
3034
3035         * wget.h: Added some comments and new INFINITE_RECURSION #define.
3036
3037 2000-08-23  Dan Harkless  <wget@harkless.org>
3038
3039         * main.c (print_help): -B / --base was not mentioned.
3040
3041 2000-08-22  Dan Harkless  <wget@harkless.org>
3042
3043         * main.c (print_help): Modified -nc description to mention that it
3044         also prevents the creation of multiple versions of the same file
3045         with ".<number>" suffixes.
3046
3047 2000-07-14  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3048
3049         * retr.c (retrieve_url): Consistently strdup opt.referer when
3050         setting u->referer.
3051
3052 2000-06-09  Dan Harkless  <wget@harkless.org>
3053
3054         * main.c (print_help): --help output for --waitretry was over 80 cols.
3055
3056 2000-06-09  Hrvoje Niksic  <hniksic@iskon.hr>
3057
3058         * url.c (encode_string): Fix comment.
3059         Suggested by Herold Heiko <Heiko.Herold@previnet.it>.
3060
3061 2000-06-01  Const Kaplinsky  <const@ce.cctpu.edu.ru>
3062
3063         * ftp.c (ftp_retrieve_list): Change permissions only on plain
3064         files.
3065
3066 2000-06-01  Hrvoje Niksic  <hniksic@iskon.hr>
3067
3068         * url.c (str_url): Print the port number only if it's different
3069         from the default port number for that protocol.
3070
3071 2000-05-22  Dan Harkless  <wget@harkless.org>
3072
3073         * main.c (print_help): Added --help line for Damir Dzeko
3074         <ddzeko@zesoi.fer.hr>'s until-now-undocumented --referer option.
3075         Removed comments that --referer and --waitretry were undocumented.
3076         Changed "`.wgetrc' command" to "`.wgetrc'-style command" on --help
3077         line for --execute.
3078
3079 2000-05-18  Hrvoje Niksic  <hniksic@iskon.hr>
3080
3081         * ftp.c (getftp): Ditto.
3082
3083         * http.c (gethttp): Check for return value of fclose/fflush.
3084
3085 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
3086
3087         * host.c (store_hostaddress): Instead of shifting ADDR, start
3088         copying from the correct address.
3089
3090 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
3091
3092         * http.c (gethttp): Don't free REQUEST -- it was allocated with
3093         alloca().
3094         Pointed out by Gisle Vanem <gvanem@eunet.no>.
3095
3096 2000-04-04  Dan Harkless  <wget@harkless.org>
3097
3098         * host.c (store_hostaddress): R. K. Owen's patch introduces a
3099         "left shift count >= width of type" warning on 32-bit
3100         architectures.  Got rid of it by tricking the compiler w/ a variable.
3101
3102         * url.c (UNSAFE_CHAR): The macro didn't include all the illegal
3103         characters per RFC1738, namely everything above '~'.  It also
3104         generated a warning on OSes where char =~ unsigned char.  Fixed.
3105
3106 1998-10-17  Hrvoje Niksic  <hniksic@srce.hr>
3107
3108         * http.c (http_process_type): Removed needless strdup(), a memory
3109         leak.
3110
3111 1998-09-25  Hrvoje Niksic  <hniksic@srce.hr>
3112
3113         * html.c (htmlfindurl): Set PH to the first occurrence of `#'.
3114
3115 1998-09-25  Simon Munton  <simonm@m4data.co.uk>
3116
3117         * init.c (wgetrc_file_name): Don't free HOME under Windows.
3118
3119 1998-12-01  "R. K. Owen"  <rkowen@Nersc.GOV>
3120
3121         * host.c (store_hostaddress): Fix for big endian 64-bit machines.
3122
3123 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
3124
3125         * url.c (UNSAFE_CHAR): New macro.
3126         (contains_unsafe): Use it.
3127         (encode_string): Ditto.
3128
3129 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
3130
3131         * main.c (i18n_initialize): Use LC_MESSAGES only if available.
3132
3133 2000-03-31  Hrvoje Niksic  <hniksic@srce.hr>
3134
3135         * Use TOUPPER/TOLOWER.
3136
3137 1998-12-22  Alexander V. Lukyanov  <lav@yars.free.net>
3138
3139         * ftp-opie.c (btoe): Zero-terminate OSTORE.
3140
3141 2000-03-21  Hrvoje Niksic  <hniksic@iskon.hr>
3142
3143         * wget.h (DO_REALLOC_FROM_ALLOCA): Ditto.
3144
3145         * sysdep.h (ISALNUM): New macro.
3146         (TOLOWER): Ditto.
3147         (TOUPPER): Ditto.
3148
3149 2000-03-10  Dan Harkless  <wget@harkless.org>
3150
3151         * html.c (idmatch): Implemented checking of my new --follow-tags
3152         and --ignore-tags options.
3153
3154         * init.c (commands): Added comment reminding people adding new
3155         entries doing allocation to add corresponding freeing in cleanup().
3156         (commands): Added new followtags and ignoretags commands.
3157         (cleanup): Free storage for new followtags and ignoretags.
3158
3159         * main.c: Use of "comma-separated list" was random -- normalized
3160         it.  Did some alphabetization.  Added comments pointing out
3161         "Options without arguments" and "Options accepting an argument"
3162         sections of long_options[].  Added new options --follow-tags and
3163         -G / --ignore-tags.  Added comment that Damir's --referer is
3164         currently undocumented.  Added comment that Heiko's --waitretry is
3165         partially undocumented (mentioned in --help but not in
3166         wget.texi).  Moved improperly sorted 24, 129, and 'G' cases.
3167
3168         * options.h (struct options): Added new fields follow_tags and
3169         ignore_tags.
3170
3171         * wget.h: Added "#define EQ 0" so we can say "strcmp(a, b) == EQ".
3172
3173 2000-03-02  Dan Harkless  <wget@harkless.org>
3174
3175         * ftp.c (ftp_loop_internal): Heiko introduced "suggest explicit
3176         braces to avoid ambiguous `else'" warnings.  Eliminated them.
3177
3178         * http.c (gethttp): Dan Berger's query string patch is totally
3179         bogus.  If you have two different URLs, gen_page.cgi?page1 and
3180         get_page.cgi?page2, they'll both be saved as get_page.cgi and the
3181         second will overwrite the first.  Also, parameters to implicit
3182         CGIs, like "http://www.host.com/db/?2000-03-02" cause the URLs to
3183         be printed with trailing garbage characters, and could seg fault.
3184         Backing out the patch, which Dan B. informed me by email was just
3185         a kludge to download StarOffice from Sun made necessary due to
3186         wget's unconditional escaping of certain characters (room for an
3187         option there?).
3188         (http_loop): Heiko introduced "suggest explicit braces to avoid
3189         ambiguous `else'" warnings.  Eliminated them.
3190
3191         * main.c: Heiko's --wait / --waitretry backwards compatibility
3192         code looks to have been totally untested -- automatic variable
3193         'wr' was used without being initialized, and a long int was passed
3194         into setval()'s char* val parameter.
3195
3196         * recur.c (parse_robots): Applied Edward J. Sabol
3197         <sabol@alderaan.gsfc.nasa.gov>'s patch for Guan Yang's reported
3198         problem with "User-agent:<space>*<space>" lines in robots.txt.
3199
3200         * url.c (parseurl, str_url): Removing Dan Berger's code (see
3201         http.c above for explanation).
3202
3203 1999-08-25  Heiko Herold  <Heiko.Herold@previnet.it>
3204
3205         * ftp.c: Respect new option waitretry.
3206
3207 2000-01-30  Damir Dzeko  <ddzeko@zesoi.fer.hr>
3208
3209         * http.c (gethttp): Send custom Referer, if required.
3210
3211 1999-09-24  Charles G Waldman  <cgw@fnal.gov>
3212
3213         * netrc.c (parse_netrc): Allow passwords to contain spaces.
3214
3215         * netrc.c (parse_netrc): New function.
3216
3217 1999-09-17  Dan Berger  <dberger@ix.netcom.com>
3218
3219         * http.c (gethttp): Send it.
3220
3221         * url.c (parseurl): Detect query string in HTTP URL-s.
3222         (str_url): Print it.
3223
3224 2000-03-02  HIROSE Masaaki  <hirose31@t3.rim.or.jp>
3225
3226         * html.c (html_allow): Add <link href=...> and <script src=...>.
3227
3228 1999-05-02  andrew deryabin  <djsf@softhome.net>
3229
3230         * http.c (gethttp): Specify port in `Host' header only if it's
3231         different from 80.
3232
3233 1998-11-03  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
3234
3235         * recur.c (recursive_retrieve): If a finite maximum depth is
3236         specified, and we're are already at that depth, don't download the
3237         HTML file for parsing.
3238
3239 2000-03-01  Dan Harkless  <wget@harkless.org>
3240
3241         * ftp.c (ftp_loop_internal): Call new downloaded_file() function,
3242         even though we don't do conversion on HTML files retrieved via
3243         FTP, so _current_ usage of downloaded_file() makes this call unneeded.
3244         (ftp_retrieve_list): Added a comment saying where we need to
3245         stat() a .orig file if FTP'd HTML file conversion is ever implemented.
3246         (ftp_retrieve_list): "Local file '%s' is more recent," is sometimes
3247         a lie -- reworded as "Server file no newer than local file '%s' --".
3248
3249         * http.c (http_loop): Fixed a typo and clarified a comment.
3250         (http_loop): When -K and -N are specified together, compare size
3251         and timestamp of server file X against local file X.orig (if
3252         extant) rather than converted local file X.
3253         (http_loop): "Local file '%s' is more recent," is sometimes a lie
3254         -- reworded as "Server file no newer than local file '%s' --".
3255         (http_loop): Call new downloaded_file() function to prevent
3256         wrongful overwriting of .orig file when -N is specified.
3257
3258         * url.c (convert_links): When -K specified, only rename X to
3259         X.orig if downloaded_file() returns TRUE.  Otherwise when we skip
3260         file X due to -N, we clobber an X.orig from a previous invocation.
3261         (convert_links): Call the failsafe xstrdup(), not the real strdup().
3262         (convert_links): Added a note asking anyone who understands how
3263         multiple URLs can correspond to a single file to comment it.
3264         (downloaded_file): Added this new function.
3265
3266         * url.h (downloaded_file): Added prototype for this new function
3267         as well as its downloaded_file_t enum type.
3268
3269         * wget.h (boolean): Added this new typedef and TRUE and FALSE #defines.
3270
3271 2000-02-29  Dan Harkless  <wget@harkless.org>
3272
3273         * version.c: Upped version to developer-only "1.5.3+dev".
3274
3275 2000-02-18  Dan Harkless  <wget@harkless.org>
3276
3277         * init.c (backup_converted): Added this new option.
3278
3279         * main.c (-K / --backup-converted): Added this new option.
3280
3281         * options.h (backup_converted): Added this new option.
3282
3283         * url.c (convert_links): When backup_converted is specified, save
3284         file X as X.orig before converting.
3285
3286         * url.h (urlpos): Fixed typo -- said "Rekative" instead of "Relative".
3287
3288 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
3289
3290         * version.c: Wget 1.5.3 is released.
3291
3292 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
3293
3294         * host.c (ftp_getaddress): Don't warn when reverse-lookup of local
3295         address doesn't yield FQDN.
3296
3297 1998-09-21  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
3298
3299         * cmpt.c (strerror): Fix declaration of sys_errlist.
3300
3301 1998-09-11  Hrvoje Niksic  <hniksic@srce.hr>
3302
3303         * main.c (main): Don't use an array subscript as the first
3304         argument to STRDUP_ALLOCA.
3305         From Kaveh R. Ghazi.
3306
3307 1998-09-11  Szakacsits Szabolcs  <szaka@sienet.hu>
3308
3309         * html.c (htmlfindurl): Download table background.
3310
3311 1998-09-11  Hans Grobler  <grobh@conde.ee.sun.ac.za>
3312
3313         * init.c (parse_line): Would free *com before allocating it.
3314         (parse_line): Would free com instead of *com.
3315
3316 1998-09-10  Howard Gayle  <howard@fjst.com>
3317
3318         * url.c (get_urls_html): Would drop the last character of the
3319         link.
3320
3321 1998-09-10  Hrvoje Niksic  <hniksic@srce.hr>
3322
3323         * http.c (http_loop): Don't print status code if quiet.
3324
3325 1998-09-10  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
3326
3327         * log.c: Use <stdarg.h> only when __STDC__.
3328
3329 1998-09-10  Adam D. Moss  <adam@foxbox.org>
3330
3331         * html.c (htmlfindurl): Download <layer src=...>.
3332
3333 1998-09-10  Howard Gayle  <howard@fjst.com>
3334
3335         * ftp.c (ftp_retrieve_list): Don't update the time stamp of a file
3336         not retrieved.
3337
3338 1998-06-27  Hrvoje Niksic  <hniksic@srce.hr>
3339
3340         * utils.c: Include <libc.h> on NeXT.
3341
3342 1998-06-26  Heinz Salzmann  <heinz.salzmann@intermetall.de>
3343
3344         * url.c (get_urls_html): Fix calculation of URL position.
3345
3346 1998-06-23  Hrvoje Niksic  <hniksic@srce.hr>
3347
3348         * version.c: Wget 1.5.2 is released.
3349
3350 1998-06-23  Dave Love  <d.love@dl.ac.uk>
3351
3352         * ftp.c, init.c, netrc.c: Include errno.h.
3353
3354         * http.c: Include errno.h and time header.
3355
3356         * Makefile.in (exext): Define.
3357         (install.bin, uninstall.bin): Use it.
3358
3359 1998-06-21  Hrvoje Niksic  <hniksic@srce.hr>
3360
3361         * http.c (http_loop): Don't attempt to compare local and remote
3362         sizes if the remote size is unknown.
3363
3364 1998-06-16  Hrvoje Niksic  <hniksic@srce.hr>
3365
3366         * url.c (get_urls_html): Use malloc() instead of alloca in the
3367         loop.
3368
3369 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
3370
3371         * version.c: Wget 1.5.2-b4 is released.
3372
3373 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
3374
3375         * url.c (get_urls_html): Ignore spaces before and after the URI.
3376
3377 1998-06-08  Wanderlei Antonio Cavassin  <cavassin@conectiva.com.br>
3378
3379         * ftp.c (getftp): Translate `done'.
3380
3381 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
3382
3383         * version.c: Wget 1.5.2-b3 is released.
3384
3385 1998-06-06  Alexander Kourakos  <awk@bnt.com>
3386
3387         * init.c (cleanup): Close dfp, don't free it.
3388
3389 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
3390
3391         * utils.c (make_directory): Twiddle.
3392
3393         * config.h.in: Added template for access().
3394
3395 1998-06-05  Mathieu Guillaume  <mat@cythere.com>
3396
3397         * html.c (htmlfindurl): Download <input src=...>
3398
3399 1998-06-03  Hrvoje Niksic  <hniksic@srce.hr>
3400
3401         * utils.c (file_exists_p): Use access() with two arguments.
3402
3403 1998-05-27  Martin Kraemer  <Martin.Kraemer@mch.sni.de>
3404
3405         * netrc.c (parse_netrc): Correct logic.
3406
3407 1998-05-27  Hrvoje Niksic  <hniksic@srce.hr>
3408
3409         * ftp.c (getftp): Added `break'; suggested by Lin Zhe Min
3410         <ljm@ljm.wownet.net>.
3411
3412 1998-05-24  Hrvoje Niksic  <hniksic@srce.hr>
3413
3414         * version.c: Wget 1.5.2-b2 is released.
3415
3416 1998-05-18  Juan Jose Rodriguez  <jcnsoft@jal1.telmex.net.mx>
3417
3418         * mswindows.h: Don't translate mkdir to _mkdir under Borland.
3419
3420 1998-05-17  Hrvoje Niksic  <hniksic@srce.hr>
3421
3422         * retr.c (elapsed_time): Return correct value when
3423         HAVE_GETTIMEOFDAY is undefined.
3424
3425 1998-05-13  Hrvoje Niksic  <hniksic@srce.hr>
3426
3427         * version.c: Wget 1.5.2-b1 is released.
3428
3429 1998-05-08  Hrvoje Niksic  <hniksic@srce.hr>
3430
3431         * getopt.c (_getopt_internal): Use exec_name instead of argv[0].
3432         (_getopt_internal): Don't translate `#if 0'-ed strings.
3433
3434 1998-05-06  Douglas E. Wegscheid  <wegscd@whirlpool.com>
3435
3436         * mswindows.c (ws_handler): Use fork_to_background().
3437
3438 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
3439
3440         * version.c: Wget 1.5.1 is released.
3441
3442 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
3443
3444         * http.c (parse_http_status_line): Avoid `minor' and `major'
3445         names.
3446
3447 1998-05-02  Hrvoje Niksic  <hniksic@srce.hr>
3448
3449         * utils.c (mkdirhier): Renamed to make_directory.
3450
3451 1998-05-01  Hrvoje Niksic  <hniksic@srce.hr>
3452
3453         * mswindows.c (fork_to_background): Define under Windows.
3454
3455         * utils.c (fork_to_background): New function.
3456
3457         * html.c (htmlfindurl): Removed rerdundant casts.
3458
3459 1998-05-01  Douglas E. Wegscheid  <wegscd@whirlpool.com>
3460
3461         * mswindows.c (ws_mypath): Cache the path.
3462
3463 1998-04-30  Douglas E. Wegscheid  <wegscd@whirlpool.com>
3464
3465         * ftp.h: Prefix enum ftype members with FT_.
3466
3467         * ftp-ls.c, ftp.c, html.h: Adjust accordingly.
3468
3469         * mswindows.h: Use stat under Borland, _stat under MSVC.
3470
3471 1998-04-28  Hrvoje Niksic  <hniksic@srce.hr>
3472
3473         * http.c (known_authentication_scheme_p): New function.
3474         (gethttp): Handle authorization more correctly.
3475
3476         * ftp-basic.h: Removed.
3477
3478         * cmpt.h: Removed.
3479
3480         * utils.c: Include <unistd.h> before <pwd.h>; needed under SunOS
3481         with gcc 2.8.
3482         (numdigit): Use `while' loop.
3483
3484         * http.c (create_authorization_line): Detect authentication
3485         schemes case-insensitively.
3486
3487         * http.c (extract_header_attr): Use strdupdelim().
3488         (digest_authentication_encode): Move declaration of local
3489         variables to smaller scope.
3490         (digest_authentication_encode): Reset REALM, OPAQUE and NONCE.
3491         (create_authorization_line): Detect authentication schemes
3492         case-insensitively.
3493
3494         * utils.c (touch): Constify.
3495
3496         * http.c (gethttp): Report a nicer error when no data is received.
3497
3498         * rbuf.h (RBUF_READCHAR): Ditto.
3499
3500         * ftp-basic.c (ftp_response): Use sizeof.
3501
3502 1998-04-27  Hrvoje Niksic  <hniksic@srce.hr>
3503
3504         * retr.c (print_percentage): EXPECTED is long, not int.
3505         (print_percentage): Use floating-point arithmetic to avoid
3506         overflow with large files' sizes multiplied with 100.
3507
3508 1998-04-27  Gregor Hoffleit  <flight@mathi.uni-heidelberg.de>
3509
3510         * config.h.in: Added pid_t stub.
3511
3512         * sysdep.h (S_ISREG): Moved here from mswindows.h (NeXT doesn't
3513         define it).
3514
3515 1998-04-20  Hrvoje Niksic  <hniksic@srce.hr>
3516
3517         * version.c: Wget 1.5.0 is released.
3518
3519 1998-04-18  Hrvoje Niksic  <hniksic@srce.hr>
3520
3521         * url.c (str_url): Ditto.
3522
3523         * ftp-basic.c (ftp_rest): Use new name.
3524
3525         * utils.c (long_to_string): Renamed from prnum().
3526
3527 1998-04-16  Hrvoje Niksic  <hniksic@srce.hr>
3528
3529         * version.c: Wget 1.5-b17 is released.
3530
3531 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
3532
3533         * headers.c (header_get): New argument FLAGS.
3534
3535         * http.c (gethttp): If request is malformed, bail out of the
3536         header loop.
3537         (gethttp): Check for empty header *after* the status line checks.
3538         (gethttp): Disallow continuations for status line.
3539
3540 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
3541
3542         * version.c: Wget 1.5-b16 is released.
3543
3544 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
3545
3546         * init.c (commands): Renamed `always_rest' to `continue'.
3547
3548 1998-04-05  Hrvoje Niksic  <hniksic@srce.hr>
3549
3550         * all: Use it.
3551
3552         * log.c (logputs): New argument.
3553         (logvprintf): Ditto.
3554         (logprintf): Ditto.
3555
3556 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
3557
3558         * http.c (http_atotm): Update comment.
3559
3560         * main.c (i18n_initialize): Set LC_MESSAGES, not LC_ALL.
3561
3562         * wget.h: Renamed ENABLED_NLS to HAVE_NLS.
3563
3564         * main.c (i18n_initialize): New function.
3565         (main): Use it.
3566
3567         * log.c: Include <unistd.h>.
3568
3569         * retr.c (show_progress): Cast alloca to char *.
3570
3571 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
3572
3573         * version.c: Wget 1.5-b15 is released.
3574
3575 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
3576
3577         * utils.h: Declare file_non_directory_p().
3578
3579 1998-04-03  Hrvoje Niksic  <hniksic@srce.hr>
3580
3581         * main.c (main): It's `tries', not `numtries' now.
3582
3583 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
3584
3585         * init.c (getperms): Removed.
3586
3587 1998-04-01  Tim Charron  <tcharron@interlog.com>
3588
3589         * log.c (logvprintf): Don't use ARGS twice.
3590
3591 1998-04-01  John  <john@futuresguide.com>
3592
3593         * mswindows.c: Cleaned up.
3594
3595 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
3596
3597         * version.c: Wget 1.5-b14 is released.
3598
3599 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
3600
3601         * ftp-opie.c (STRLEN4): New macro.
3602         (btoe): Use it.
3603
3604 1998-04-01  Junio Hamano  <junio@twinsun.com>
3605
3606         * http.c: Document all the Digest functions.
3607
3608 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
3609
3610         * utils.c (file_non_directory_p): Renamed from isfile().
3611
3612         * mswindows.h (S_ISREG): New macro, suggested by Tim Adam.
3613
3614 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
3615
3616         * utils.c (mkdirhier): Use 0777 instead of opt.dirmode.
3617
3618         * init.c (cmd_spec_dotstyle): Use 48 dots per line for binary
3619         style.
3620         (cmd_permissions): Removed.
3621
3622         * config.h.in: Add template for WORDS_BIGENDIAN.
3623
3624 1998-03-31  Junio Hamano  <junio@twinsun.com>
3625
3626         * http.c (HEXD2asc): New macro.
3627         (dump_hash): Use it.
3628
3629 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
3630
3631         * version.c: Wget 1.5-b13 is released.
3632
3633 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
3634
3635         * main.c (main): Don't try to use `com'.
3636
3637 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
3638
3639         * init.c (cmd_permissions): New function.
3640
3641 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
3642
3643         * version.c: Wget 1.5-b12 is released.
3644
3645 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
3646
3647         * init.c (commands): Renamed `numtries' to `tries'.
3648         (cmd_spec_debug): Removed.
3649         (home_dir): Under Windows, return `C:\' if HOME is undefined.
3650
3651 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
3652
3653         * config.h.in: Define _XOPEN_SOURCE.
3654
3655         * init.c (check_user_specified_header): New function.
3656         (cmd_spec_header): Use it.
3657         (cmd_spec_useragent): New function.
3658
3659 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
3660
3661         * version.c: Wget 1.5-b11 is released.
3662
3663 1998-03-28  Hrvoje Niksic  <hniksic@srce.hr>
3664
3665         * wget.h: Include <libintl.h> only if NLS is enabled.
3666
3667 1998-03-26  Hrvoje Niksic  <hniksic@srce.hr>
3668
3669         * options.h (struct options): Made `wait' a long.
3670         (struct options): Ditto for `timeout'.
3671
3672 1998-03-19  Hrvoje Niksic  <hniksic@srce.hr>
3673
3674         * utils.c (exists): Renamed to file_exists_p.
3675         (file_exists_p): Use access() if available.
3676
3677 1998-03-17  Hrvoje Niksic  <hniksic@srce.hr>
3678
3679         * utils.c (memfatal): Set save_log_p to 0 to avoid potential
3680         infloop.
3681
3682         * log.c: do_logging -> save_log_p.
3683
3684         * config.h.in: Added template for HAVE_VSNPRINTF.
3685
3686 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
3687
3688         * init.c: Ditto.
3689
3690         * http.c: Protect declaration against non-ANSI compiler.
3691
3692         * log.c (logvprintf): Use vsnprintf() if available.
3693
3694         * getopt.c (main): Don't translate test stuff.
3695
3696 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
3697
3698         * version.c: Wget 1.5-b10 is released.
3699
3700 1998-03-11  Hrvoje Niksic  <hniksic@srce.hr>
3701
3702         * ftp.c (getftp): Don't translate "CWD %s".
3703
3704         * wget.h (GCC_FORMAT_ATTR): Renamed from FORMAT_ATTR.
3705
3706 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
3707
3708         * ftp-opie.c (btoe): Use memcpy() instead of strncat().
3709
3710         * log.c (logputs): New function.
3711         (logvprintf): Renamed from vlogmsg; use logputs().
3712
3713         * retr.c (show_progress): Print `[100%]' when the retrieval is
3714         finished.
3715
3716         * init.c (run_wgetrc): Use FILE, not PATH.
3717         (wgetrc_file_name): Ditto.
3718
3719 1998-03-07  Tim Adam  <tma@osa.com.au>
3720
3721         * recur.c (parse_robots): Correctly reset `entries' on empty
3722         disallow.
3723
3724 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
3725
3726         * init.c (cmd_spec_debug): Use cmd_boolean().
3727
3728 1998-02-23  Hrvoje Niksic  <hniksic@srce.hr>
3729
3730         * http.c (gethttp): Create proxy-authorization correctly.
3731
3732 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
3733
3734         * md5.c: Ditto.
3735
3736         * getopt.c: Use ANSI function definitions.
3737
3738         * ftp-opie.c: New file.
3739
3740         * options.h: Don't redefine EXTERN.
3741
3742         * init.c: Sort it correctly.
3743
3744 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
3745
3746         * version.c: Wget 1.5-b9 is released.
3747
3748 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
3749
3750         * recur.c (recursive_retrieve): Reset `first_time'.
3751
3752         * ftp.c (getftp): Added `default' clause to switches of uerr_t.
3753
3754         * rbuf.c (rbuf_peek): Simplified.
3755         (rbuf_flush): Use MINVAL.
3756
3757         * wget.h (MINVAL): Moved from url.h.
3758
3759         * rbuf.h (RBUF_FD): New macro.
3760
3761         * url.c (add_url): Add to the head of the list.
3762
3763         * ftp.c (ftp_retrieve_list): Set the permissions to downloaded
3764         file.
3765         (getftp): Set the default permissions to 0600.
3766
3767 1998-02-21  Hrvoje Niksic  <hniksic@srce.hr>
3768
3769         * url.c (get_urls_html): Ditto.
3770         (convert_links): Ditto.
3771
3772         * recur.c (parse_robots): Ditto.
3773
3774         * html.c (ftp_index): Ditto.
3775
3776         * ftp-ls.c (ftp_parse_unix_ls): Open file as binary.
3777
3778         * init.c (defaults): Initialize `opt' to zero via memset.
3779
3780         * http.c (digest_authentication_encode): goto considered harmful.
3781
3782 1998-02-19  Hrvoje Niksic  <hniksic@srce.hr>
3783
3784         * ftp.c (delelement): Simplify and fix leak.
3785
3786 1998-02-18  Hrvoje Niksic  <hniksic@srce.hr>
3787
3788         * http.c (dump_hash): Use HEXD2ASC instead of home-grown stuff.
3789
3790         * url.h (HEXD2ASC): Removed warning.
3791
3792         * init.c (comind): Use binary search.
3793         (commands): Reorganized.
3794         (setval): Ditto.
3795         (cmd_boolean): New function.
3796         (cmd_number): Ditto.
3797         (cmd_number_inf): Ditto.
3798         (cmd_string): Ditto.
3799         (cmd_vector): Ditto.
3800         (cmd_directory_vector): Ditto.
3801         (cmd_bytes): Ditto.
3802         (cmd_time): Ditto.
3803         (cmd_spec_debug): Ditto.
3804         (cmd_spec_dirmode): Ditto.
3805         (cmd_spec_dirstruct): Ditto.
3806         (cmd_spec_dotstyle): Ditto.
3807         (cmd_spec_header): Ditto.
3808         (cmd_spec_htmlify): Ditto.
3809         (cmd_spec_mirror): Ditto.
3810         (cmd_spec_outputdocument): Ditto.
3811         (cmd_spec_recursive): Ditto.
3812         (settime): Merged with cmd_time().
3813         (setbytes): Merged with cmd_bytes().
3814         (setonoff): Merged with cmd_boolean().
3815         (onoff): Ditto.
3816
3817 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
3818
3819         * Makefile.in (distclean): Remove `config.h'.
3820
3821 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
3822
3823         * version.c: Wget 1.5-b8 is released.
3824
3825 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
3826
3827         * http.c (digest_authentication_encode): New function.
3828         (create_authorization_line): Use it.
3829         (dump_hash): New function.
3830         (digest_authentication_encode): Use it.
3831
3832         * fnmatch.c: Renamed from `mtch.c'.
3833
3834 1998-02-15  Karl Eichwalder  <ke@suse.de>
3835
3836         * main.c (main): Tag "Written by..." string as translatable.
3837
3838 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
3839
3840         * wget.h (FREE_MAYBE): New macro.
3841
3842         * http.c (create_authorization_line): Don't use ANSI C string
3843         concatenation feature.
3844         (basic_authentication_encode): Use alloca() for temporary
3845         variables.
3846
3847         * recur.h: Ditto.
3848
3849         * http.c: Ditto.
3850
3851         * headers.h: Ditto.
3852
3853         * ftp-basic.c: Protect declaration against non-ANSI compiler.
3854
3855         * http.c (create_authorization_line): Cast `unsigned char *' to
3856         `char *' for sprintf, to shut up the noisy Digital Unix cc.
3857
3858 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
3859
3860         * version.c: Wget 1.5-b7 is released.
3861
3862 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
3863
3864         * cmpt.c (strstr): Synched with glibc-2.0.6.
3865
3866         * ftp-basic.c (calculate_skey_response): Ditto.
3867         (calculate_skey_response): Use alloca().
3868
3869         * http.c (create_authorization_line): Work with FSF's version of
3870         md5.c.
3871
3872         * md5.c: New file, from GNU libc.
3873
3874 1998-02-14  Hrvoje Niksic  <hniksic@srce.hr>
3875
3876         * url.h (URL_CLEANSE): Name the temporary variable more carefully.
3877
3878 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
3879
3880         * http.c (basic_authentication_encode): New function, instead of
3881         the macro.
3882
3883 1998-02-13  Junio Hamano  <junio@twinsun.com>
3884
3885         * http.c: Add HTTP-DA support.
3886         * ftp-basic.c: Add Opie/S-key support.
3887         * config.h.in, Makefile.in: Add HTTP-DA and Opie/S-key support.
3888         * md5.c, md5.h: New files.
3889
3890 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
3891
3892         * http.c (http_process_range): Renamed from hprocrange().
3893         (http_process_range): Parse the whole header.
3894
3895         * headers.c: New file.
3896         (header_process): New function.
3897         (header_get): Renamed from fetch_next_header.
3898
3899         * all: Include utils.h only where necessary.
3900
3901         * wget.h: Declare xmalloc(), xrealloc() and xstrdup() here.
3902
3903         * wget.h: Add provisions for dmalloc.
3904
3905 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
3906
3907         * version.c: Wget 1.5-b6 is released.
3908
3909 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
3910
3911         * ftp.c (ftp_loop): Determine `filename' more precisely.
3912
3913         * init.c (setval): Don't set `opt.quiet' if output-document is
3914         `-'.
3915
3916         * log.c (log_init): Print to STDERR instead of STDOUT.
3917         (vlogmsg): Use STDERR by default.
3918         (logflush): Ditto.
3919
3920 1998-02-11  Simon Josefsson  <jas@pdc.kth.se>
3921
3922         * host.c: Use addr_in again.
3923
3924 1998-02-08  Karl Eichwalder  <karl@suse.de>
3925
3926         * http.c (gethttp): Fixed typo.
3927
3928 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
3929
3930         * version.c: Wget 1.5-b5 is released.
3931
3932 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
3933
3934         * retr.c (show_progress): Use it.
3935
3936         * log.c (logflush): New function.
3937
3938         * wget.h: Utilize __attribute__ if on gcc.
3939
3940 1998-02-07  Hrvoje Niksic  <hniksic@srce.hr>
3941
3942         * http.c (base64_encode_line): New argument LENGTH.
3943         (BASIC_AUTHENTICATION_ENCODE): Use it.
3944         (BASIC_AUTHENTICATION_ENCODE): Take length of HEADER into account.
3945
3946         * main.c (main): Fixed fprintf() format mismatch.
3947
3948 1998-02-06  Hrvoje Niksic  <hniksic@srce.hr>
3949
3950         * version.c: Wget 1.5-b4 is released.
3951
3952 1998-02-03  Simon Josefsson  <jas@pdc.kth.se>
3953
3954         * host.c: use sockaddr_in instead of addr_in.
3955
3956 1998-02-04  Hrvoje Niksic  <hniksic@srce.hr>
3957
3958         * init.c (cleanup): Use it.
3959
3960         * recur.c (recursive_cleanup): New function.
3961
3962         * retr.c (retrieve_from_file): Ditto.
3963
3964         * main.c (main): Use it.
3965
3966         * recur.c (recursive_reset): New function.
3967
3968         * retr.c (retrieve_from_file): Ditto.
3969
3970         * main.c (main): Simplify call to recursive_retrieve().
3971
3972         * recur.c (recursive_retrieve): Removed FLAGS argument.
3973
3974         * http.c (gethttp): Changed call to iwrite().
3975
3976 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
3977
3978         * url.c (get_urls_html): Ditto.
3979         (free_urlpos): Ditto.
3980         (mkstruct): Ditto.
3981         (construct): Ditto.
3982
3983         * retr.c (retrieve_url): Move declaration of local variables to
3984         smaller scope.
3985
3986         * url.c (urlproto): Use it.
3987         (parseurl): Ditto.
3988         (str_url): Ditto.
3989         (get_urls_html): Ditto.
3990
3991         * utils.h (ARRAY_SIZE): New macro.
3992
3993         * url.c (proto): Moved from url.h.
3994
3995         * url.h (URL_CLEANSE): Reformatted.
3996         (USE_PROXY_P): Renamed from USE_PROXY.
3997
3998         * ftp-basic.c: Adjust to the new interface of iwrite().
3999
4000         * ftp-basic.c (ftp_port): Use alloca().
4001
4002 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
4003
4004         * version.c: Wget 1.5-b3 is released.
4005
4006         * host.c (ftp_getaddress): Don't print to stderr directly.
4007
4008         * init.c (setbytes): Support `g' for gigabytes.
4009         (cmdtype): New specification CTIME.
4010         (setval): Use it with settime().
4011         (commands): Use it for WAIT and TIMEOUT.
4012
4013 1998-02-02  Hrvoje Niksic  <hniksic@srce.hr>
4014
4015         * http.c (BASIC_AUTHENTICATION_ENCODE): New macro.
4016         (gethttp): Use it.
4017
4018         * utils.c (unique_name_1): Moved from url.c.
4019         (unique_name): Ditto.
4020
4021         * url.c (url_filename): Ditto.
4022
4023         * log.c (redirect_output): Changed call to unique_name().
4024
4025         * url.c (unique_name_1): Renamed from unique_name().
4026         (unique_name): Changed interface.
4027
4028         * init.c (enum cmdid): Moved from init.h.
4029         (cmdtype): Ditto.
4030         (struct cmd): Ditto.
4031
4032         * main.c (main): Use it.
4033         (main): Moved `--backups' to not have a short option.
4034
4035         * options.h (struct options): New member BACKGROUND.
4036
4037         * main.c (print_help): Rearranged.
4038         (main): New long options for -n* short options: --no-directories,
4039         --no-host-directories, --non-verbose, --no-host-lookup and
4040         --dont-remove-listing.
4041
4042 1998-02-01  Hrvoje Niksic  <hniksic@srce.hr>
4043
4044         * main.c (main): Use log_close().
4045
4046         * log.c: New variable LOGFP.
4047         (vlogmsg): Use it.
4048         (redirect_output): Don't open /dev/null; set LOGFP to stdin
4049         instead.
4050         (log_close): New function.
4051
4052         * options.h (struct options): Removed LFILE.
4053
4054         * log.c (log_enable): Removed.
4055
4056         * main.c (main): Use it.
4057
4058         * log.c (log_init): New function.
4059
4060         * url.c (get_urls_html): Removed needless assignment to BASE.
4061
4062         * host.c (add_hlist): Don't set CMP needlessly.
4063
4064         * utils.c (match_backwards): Ditto.
4065         (in_acclist): Ditto.
4066
4067         * url.c (findurl): Ditto.
4068
4069         * netrc.c (parse_netrc): Ditto.
4070
4071         * log.c (log_dump): Ditto.
4072
4073         * html.c (html_quote_string): Ditto.
4074
4075         * ftp-basic.c (ftp_request): Made static.
4076
4077         * connect.c: Made global variables static.
4078
4079         * url.c (construct): Ditto.
4080
4081         * init.c (init_path): Avoid assignment inside `if'-condition.
4082
4083         * ftp.c: Don't include in.h or winsock.h.
4084
4085         * ftp.c (ftp_loop): Use SZ.
4086
4087         * connect.c (bindport): Cast &addrlen to int *.
4088         (conaddr): Ditto.
4089
4090         * init.c (initialize): Don't use SYSTEM_WGETRC unconditionally.
4091
4092 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
4093
4094         * ftp.c (getftp): Initialize opt.ftp_pass here.
4095         (ftp_retrieve_dirs): Use alloca().
4096
4097         * init.c (defaults): Don't initialize opt.ftp_pass.
4098
4099         * sysdep.h (S_ISLNK): Declare for OS/2; ditto for lstat.
4100         From Ivan F. Martinez <ivanfm@ecodigit.com.br>.
4101
4102 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
4103
4104         * recur.c (parse_robots): Check for comments more correctly.
4105
4106         * host.c (ftp_getaddress): Use STRDUP_ALLOCA.
4107         (ftp_getaddress): Add diagnostics when reverse-lookup yields only
4108         hostname.
4109
4110 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
4111
4112         * version.c: Wget 1.5-b2 is released.
4113
4114         * netrc.c (NETRC_FILE_NAME): Moved from netrc.h.
4115
4116         * utils.c (proclist): Pass FNM_PATHNAME to fnmatch().
4117
4118         * ftp-basic.c (ftp_pasv): Avoid unnecessary casting to unsigned
4119         char.
4120
4121         * log.c: Don't attempt to hide arguments from ansi2knr.
4122
4123         * cmpt.c: Synched strptime() and mktime() with glibc-2.0.6.
4124
4125         * ansi2knr.c: Use a later version, from fileutils-3.16l alpha.
4126
4127         * ftp.c (getftp): Ditto.
4128
4129         * http.c (gethttp): Use it.
4130
4131         * retr.c (get_contents): New argument EXPECTED; pass it to
4132         show_progress().
4133         (show_progress): New argument EXPECTED; use it to display
4134         percentages.
4135
4136         * init.c (setval): Ditto.
4137
4138         * http.c (gethttp): Ditto.
4139         (http_loop): Ditto.
4140
4141         * ftp.c (getftp): Ditto.
4142         (ftp_loop_internal): Ditto.
4143
4144         * ftp-ls.c (ftp_parse_unix_ls): Use abort() instead of assert(0).
4145
4146         * sysdep.h (CLOSE): Simplify; use DEBUGP.
4147
4148         * netrc.c (search_netrc): Use alloca().
4149
4150         * init.c (defaults): Initialize no_flush.
4151
4152         * log.c (vlogmsg): Don't flush if no_flush.
4153
4154         * options.h (struct options): New variable no_flush.
4155
4156         * main.c (main): Don't play games with buffering.
4157
4158         * log.c (vlogmsg): Flush the output after every message.
4159
4160 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
4161
4162         * init.c (parse_line): Ditto.
4163
4164         * url.c (get_urls_html): Ditto.
4165
4166         * main.c (main): Don't cast to unsigned char.
4167
4168         * init.c (run_wgetrc): Don't cast to unsigned char.
4169         (parse_line): Accept char instead of unsigned char.
4170
4171         * html.c (htmlfindurl): Use char instead of unsigned char.
4172
4173         * all: Use them.
4174
4175         * sysdep.h: Add wrappers to ctype macros to make them
4176         eight-bit-clean:
4177
4178 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
4179
4180         * html.c (htmlfindurl): Download <img lowsrc=...>
4181
4182         * main.c (main): Ignore SIGPIPE.
4183
4184         * connect.c (select_fd): New argument WRITEP.
4185         (iwrite): Call select_fd().
4186
4187 1997-02-27  Fila Kolodny <fila@ibi.com>
4188
4189         * ftp.c (ftp_retrieve_list): If retrieving symlink and the proper
4190         one already exists, just skip it.
4191
4192 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
4193
4194         * http.c (gethttp): Cosmetic changes.
4195
4196         * http.c (check_end): Allow `+D...' instead of `GMT'.
4197         From Fabrizio Pollastri <pollastri@cstv.to.cnr.it>.
4198
4199         * url.c (process_ftp_type): New function.
4200         (parseurl): Use it.
4201
4202         * connect.c (iwrite): Allow writing in a few chunks.
4203         (bindport): Made SRV static, so addr can point to it.
4204         (select_fd): Removed HPUX kludge.
4205
4206         * host.c (free_hlist): Incorporated into clean_hosts().
4207
4208 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
4209
4210         * host.c (hlist): Made static.
4211         (search_address): Cosmetic change.
4212
4213 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
4214
4215         * version.c: Wget v1.5-b1 is released.
4216
4217         * http.c (hgetlen): Use sizeof() to get the header length.
4218         (hgetrange): Ditto.
4219         (hgettype): Ditto.
4220         (hgetlocation): Ditto.
4221         (hgetmodified): Ditto.
4222         (haccepts_none): Ditto.
4223
4224         * main.c (main): Updated `--version' and `--help' output, as per
4225         Francois Pinard's suggestions.
4226
4227         * main.c: Include locale.h; call setlocale(), bindtextdomain() and
4228         textdomain().
4229
4230         * config.h.in: Define stubs for I18N3.
4231
4232         * wget.h: Include libintl.h.
4233
4234 1998-01-28  Hrvoje Niksic  <hniksic@srce.hr>
4235
4236         * url.c (mkstruct): Check for opt.cut_dirs.
4237         (mkstruct): alloca()-te more, xmalloc() less.
4238
4239         * utils.c (load_file): Check for ferror().
4240
4241         * url.c (get_urls_file): Close only the files we opened.
4242         (get_urls_html): Ditto.
4243         (count_slashes): New function.
4244
4245         * http.h: Removed.
4246
4247         * http.c (gethttp): Respect username and password provided by
4248         proxy URL.
4249         (base64_encode_line): Write into an existing buffer instead of
4250         malloc-ing a new one.
4251         (struct http_stat): Moved from http.h
4252
4253         * retr.c (retrieve_url): Free SUF.
4254
4255         * all: Removed lots of unnecessary .h dependencies.
4256
4257         * html.c (global_state): Made static.
4258
4259         * utils.h (ALLOCA_ARRAY): New macro.
4260
4261         * main.c (main): New option `--cut-dirs'.
4262
4263         * url.c (construct): Use alloca() for T.
4264
4265         * utils.c (mkdirhier): Use STRDUP_ALLOCA.
4266
4267         * host.c (_host_t): Moved from host.h.
4268         (struct host): Renamed from _host_t.
4269         (store_hostaddress): Use STRDUP_ALLOCA for INET_S.
4270         (realhost): Ditto.
4271
4272         * host.h: Don't include url.h.
4273
4274         * ftp.c (LIST_FILENAME): Moved from ftp.h.
4275
4276         * init.c (DEFAULT_FTP_ACCT): Moved from ftp.h.
4277
4278         * main.c (main): Enable log if the output goes to a TTY.
4279
4280         * connect.h: Removed unused constant `BACKLOG'.
4281
4282         * config.h.in: Check for isatty().
4283
4284         * Makefile.in (LINK): Use CFLAGS when linking.
4285
4286 1998-01-27  Hrvoje Niksic  <hniksic@srce.hr>
4287
4288         * mswindows.c (ws_hangup): Use redirect_output().
4289
4290         * main.c (redirect_output_signal): New function; use
4291         redirect_output().
4292
4293         * log.c (redirect_output): New function, based on hangup(), which
4294         is deleted.
4295
4296         * log.c (vlogmsg): New function.
4297
4298         * wget.h (DEBUGP): Use debug_logmsg().
4299
4300         * main.c (hangup): Use it.
4301
4302         * log.c (log_dump): New function.
4303
4304         * utils.h (DO_REALLOC): Use `long' for various sizes.
4305
4306         * http.c (hskip_lws): Use `while', for clarity.
4307         (HTTP_DYNAMIC_LINE_BUFFER): New constant.
4308         (fetch_next_header): Use it instead of DYNAMIC_LINE_BUFFER.
4309
4310         * ftp-basic.c (FTP_DYNAMIC_LINE_BUFFER): New constant.
4311         (ftp_response): Use it instead of DYNAMIC_LINE_BUFFER.
4312
4313         * utils.c (DYNAMIC_LINE_BUFFER): Moved from utils.c.
4314         (LEGIBLE_SEPARATOR): Ditto.
4315         (FILE_BUFFER_SIZE): Ditto.
4316
4317         * retr.c (BUFFER_SIZE): Moved from retr.h.
4318
4319         * log.c: New file.
4320         (logmsg): Moved from utils.c.
4321         (debug_logmsg): New function.
4322
4323         * mswindows.h: Include it here.
4324
4325         * init.c: Ditto.
4326
4327         * utils.c: Don't include <windows.h>.
4328
4329 1998-01-25  Hrvoje Niksic  <hniksic@srce.hr>
4330
4331         * host.c (ftp_getaddress): Ditto.
4332
4333         * main.c (main): Use it.
4334
4335         * utils.h (STRDUP_ALLOCA): New macro.
4336
4337         * init.c: Prepend `wget: ' to error messages printed on stderr.
4338
4339         * utils.c (mkdirhier): Renamed from mymkdir.
4340         (touch): Renamed from my_touch.
4341         (pwd_cuserid): Renamed from my_cuserid().
4342
4343 1998-01-24  Andy Eskilsson  <andy.eskilsson@telelogic.se>
4344
4345         * utils.c (accdir): Process wildcards.
4346         (proclist): New function.
4347         (accdir): Use it to avoid code repetition.
4348
4349 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
4350
4351         * recur.c (parse_robots): Respect opt.useragent; use alloca().
4352
4353         * http.c (gethttp): Construct useragent accordingly.
4354
4355         * version.c: Changed version string to numbers-only.
4356
4357         * main.c (print_help): List all the options.
4358
4359         * mswindows.c (windows_main_junk): Initialize argv0 here.
4360
4361 1998-01-24  Karl Heuer  <kwzh@gnu.org>
4362
4363         * netrc.c (search_netrc): Initialize `l' only after processing
4364         netrc.
4365
4366         * main.c (main): Don't trap SIGHUP if it's being ignored.
4367
4368 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
4369
4370         * all: Use logmsg().
4371
4372         * utils.c (time_str): Moved from retr.c.
4373         (logmsg): New function.
4374         (logmsg_noflush): Ditto.
4375
4376         * rbuf.c: New file, moved buf_* functions here.
4377
4378         * ftp.c (ftp_expected_bytes): Moved from ftp-basic.c.
4379
4380         * ftp-basic.c (ftp_rest): Use prnum().
4381
4382         * ftp-basic.c: Ditto.
4383
4384         * ftp.c: Use the new reading functions and macros.
4385
4386         * retr.c (buf_initialize): New function.
4387         (buf_initialized_p): Ditto.
4388         (buf_uninitialize): Ditto.
4389         (buf_fd): Ditto.
4390
4391         * http.c (fetch_next_header): Use the BUF_READCHAR macro for
4392         efficiency.
4393         (gethttp): Use alloca() where appropriate.
4394
4395         * retr.c (buf_readchar): Use it.
4396         (buf_peek): Use rstreams.
4397
4398         * retr.h (BUF_READCHAR): New macro.
4399
4400         * init.c (home_dir): Rewritten for clarity.
4401         (init_path): Ditto.
4402
4403         * mswindows.c (ws_backgnd): Made static.
4404         (read_registry): Ditto.
4405         (ws_cleanup): Ditto.
4406         (ws_handler): Ditto.
4407
4408 1998-01-23  Hrvoje Niksic  <hniksic@srce.hr>
4409
4410         * alloca.c: New file.
4411
4412         * Makefile.in (ALLOCA): Define.
4413
4414         * mswindows.c (ws_help): Constify.
4415         (ws_help): Use alloca.
4416
4417         * mswindows.c: Reformat.
4418
4419         * all: Added _(...) annotations for I18N snarfing and translation.
4420
4421         * host.c (ftp_getaddress): Nuke SYSINFO.
4422         (ftp_getaddress): Don't use getdomainname().
4423         (ftp_getaddress): Use uname(), where available.
4424
4425         * http.c (gethttp): Protect a stray fprintf().
4426
4427         * init.c (settime): New function.
4428         (setval): Treat WAIT specially, allowing suffixes like `m' for
4429         minutes, etc.
4430
4431 1998-01-21  Hrvoje Niksic  <hniksic@srce.hr>
4432
4433         * url.c (get_urls_html): Use alloca() for TEMP.
4434
4435 1998-01-21  Jordan Mendelson  <jordy@wserv.com>
4436
4437         * url.c (rotate_backups): New function.
4438
4439         * http.c (gethttp): Ditto.
4440
4441         * ftp.c (getftp): Rotate backups.
4442
4443 1997-12-18  Hrvoje Niksic  <hniksic@srce.hr>
4444
4445         * all: Renamed nmalloc(), nrealloc() and nstrdup() to xmalloc(),
4446         xrealloc() and xstrdup().  Use the new functions.
4447
4448         * url.c (decode_string): Made static.
4449         (has_proto): Ditto.
4450         (parse_dir): Ditto.
4451         (parse_uname): Ditto.
4452         (mkstruct): Ditto.
4453         (construct): Ditto.
4454         (construct_relative): Ditto.
4455
4456         * retr.c (show_progress): Made static.
4457
4458         * recur.c (robots_url): Made static.
4459         (retrieve_robots): Ditto.
4460         (parse_robots): Ditto.
4461         (robots_match): Ditto.
4462
4463         * main.h: Removed.
4464
4465         * main.c (printhelp): Made static.
4466         (hangup): Ditto.
4467
4468         * init.c (comind): Made static.
4469         (defaults): Ditto.
4470         (init_path): Ditto.
4471         (run_wgetrc): Ditto.
4472         (onoff): Ditto.
4473         (setonoff): Ditto.
4474         (setnum): Ditto.
4475         (myatoi): Ditto.
4476         (getperms): Ditto.
4477         (setbytes): Ditto.
4478
4479         * http.c (fetch_next_header): Made static.
4480         (hparsestatline): Ditto.
4481         (hskip_lws): Ditto.
4482         (hgetlen): Ditto.
4483         (hgetrange): Ditto.
4484         (hgettype): Ditto.
4485         (hgetlocation): Ditto.
4486         (hgetmodified): Ditto.
4487         (haccepts_none): Ditto.
4488         (gethttp): Ditto.
4489         (base64_encode_line): Ditto.
4490         (mktime_from_utc): Ditto.
4491         (http_atotm): Ditto.
4492
4493         * html.c (idmatch): Made static.
4494
4495         * host.c (search_host): Made static.
4496         (search_address): Ditto.
4497         (free_hlist): Ditto.
4498
4499         * ftp.c (getftp): Made static.
4500         (ftp_loop_internal): Ditto.
4501         (ftp_get_listing): Ditto.
4502         (ftp_retrieve_list): Ditto.
4503         (ftp_retrieve_dirs): Ditto.
4504         (ftp_retrieve_glob): Ditto.
4505         (freefileinfo): Ditto.
4506         (delelement): Ditto.
4507
4508         * ftp-ls.c (symperms): Made static.
4509         (ftp_parse_unix_ls): Ditto.
4510
4511         * connect.c (select_fd): Made static.
4512
4513         * utils.c (xmalloc): Renamed from nmalloc.
4514         (xrealloc): Renamed from nrealloc.
4515         (xstrdup): Renamed from nstrdup.
4516
4517         * getopt.c (exchange): Use alloca.
4518
4519         * mswindows.c (mycuserid): Use strncpy.
4520
4521         * New files mswindows.c, mswindows.h, sysdep.h.  winjunk.c,
4522         systhings.h, windecl.h and winjunk.h removed.
4523
4524         * mswindows.c (sleep): New function.
4525
4526         * utils.c: Include <windows.h> under Windows.
4527
4528 1997-06-12  Darko Budor  <dbudor@zesoi.fer.hr>
4529
4530         * url.h (URL_UNSAFE): Change default under Windows.
4531
4532         * retr.c (retrieve_from_file): Respect opt.delete_after.
4533
4534         * main.c (main): Call ws_help on Windows.
4535
4536         * winjunk.c (windows_main_junk): New function.
4537
4538         * main.c (main): Junk-process argv[0].
4539
4540         * http.c (mktime_from_utc): Return -1 if mktime failed.
4541
4542         * http.c (http_loop): Ditto.
4543
4544         * ftp.c (ftp_loop_internal): Change title on Windows when using a
4545         new URL.
4546
4547         * winjunk.c (getdomainname): Lots of functions.
4548
4549 1997-06-12  Hrvoje Niksic  <hniksic@srce.hr>
4550
4551         * cmpt.c (strptime_internal): Handle years more correctly for
4552         `%y'.
4553
4554 1997-06-09  Mike Thomas <mthomas@reality.ctron.com>
4555
4556         * http.c (gethttp): Allocate enough space for
4557         `Proxy-Authorization' header.
4558
4559 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
4560
4561         * version.c: Wget/1.4.5 is released.
4562
4563 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
4564
4565         * retr.c (get_contents): Check return value of fwrite more
4566         carefully.
4567
4568 1997-03-30  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
4569
4570         * cmpt.c (strptime_internal) [case 'Y']: Always subtract 1900 from
4571         year, regardless of century.
4572
4573 1997-03-30  Hrvoje Niksic  <hniksic@srce.hr>
4574
4575         * utils.c (isfile): Use `lstat' instead of `stat'.
4576
4577 1997-03-29  Hrvoje Niksic  <hniksic@srce.hr>
4578
4579         * utils.c (numdigit): Use explicit test.
4580
4581 1997-03-21  Hrvoje Niksic  <hniksic@srce.hr>
4582
4583         * http.c (http_loop): Always use `url_filename' to get u->local.
4584
4585 1997-03-20  Hrvoje Niksic  <hniksic@srce.hr>
4586
4587         * url.c: Recognize https.
4588
4589 1997-03-13  Hrvoje Niksic  <hniksic@srce.hr>
4590
4591         * recur.c (recursive_retrieve): Lowercase just the host name.
4592
4593 1997-03-09  Hrvoje Niksic  <hniksic@srce.hr>
4594
4595         * url.c (get_urls_file): Use the correct test.
4596         (get_urls_html): Ditto.
4597
4598 1997-03-07  Hrvoje Niksic  <hniksic@srce.hr>
4599
4600         * connect.c: Reverted addrlen to int.
4601
4602         * init.c (parse_line): Check for -1 instead of NONE.
4603
4604         * version.c: Changed version to 1.4.5.
4605
4606 1997-02-17  Hrvoje Niksic  <hniksic@srce.hr>
4607
4608         * init.c: New option netrc.
4609         (initialize): Don't parse .netrc.
4610
4611         * cmpt.c (recursive): Return rp.
4612         (strptime_internal): Match the long strings first, the abbreviated
4613         second.
4614
4615 1997-02-16  Hrvoje Niksic  <hniksic@srce.hr>
4616
4617         * http.c (check_end): New function.
4618         (http_atotm): Use it.
4619
4620 1997-02-13  gilles Cedoc  <gilles@cedocar.fr>
4621
4622         * http.c (gethttp): Use them.
4623
4624         * init.c: New options proxy_user and proxy_passwd.
4625
4626 1997-02-14  Hrvoje Niksic  <hniksic@srce.hr>
4627
4628         * ftp.c (ftp_retrieve_list): Create links even if not relative.
4629
4630 1997-02-10  Hrvoje Niksic  <hniksic@srce.hr>
4631
4632         * recur.c (recursive_retrieve): Lowercase the host name, if the
4633         URL is not "optimized".
4634
4635         * host.c (realhost): Return l->hostname, even if it matches with
4636         host.
4637
4638 1997-02-10  Marin Purgar  <pmc@asgard.hr>
4639
4640         * connect.c: Make addrlen size_t instead of int.
4641         (conaddr): Ditto.
4642
4643 1997-02-09  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
4644
4645         * systhings.h: Define S_ISLNK on NeXT too.
4646
4647 1997-02-09  Hrvoje Niksic  <hniksic@srce.hr>
4648
4649         * version.c: Released 1.4.3.
4650
4651         * url.c: Futher update to list of protostrings.
4652         (skip_proto): Skip `//' correctly for FTP and HTTP.
4653
4654         * url.c (get_urls_html): Handle bogus `http:' things a little
4655         different.
4656
4657         * main.c (main): Removed `follow-ftp' from `f'.
4658         (main): Dumped the `prefix-files' and `file-prefix' options and
4659         features; old and bogus.
4660         (main): Exit on failed setval() in `-e'.
4661
4662         * http.c (fetch_next_header): Use it to detect header continuation
4663         correctly.
4664
4665         * retr.c (buf_peek): New function.
4666
4667 1997-02-08  Hrvoje Niksic  <hniksic@srce.hr>
4668
4669         * wget.h: Include time.h and stuff.
4670
4671 1997-02-08  Roger Beeman  <beeman@cisco.com>
4672
4673         * ftp.c: Include <time.h>
4674
4675 1997-02-07  Hrvoje Niksic  <hniksic@srce.hr>
4676
4677         * url.c (findurl): Would read over buffer limits.
4678
4679 1997-02-06  Hrvoje Niksic  <hniksic@srce.hr>
4680
4681         * ftp-ls.c (ftp_parse_unix_ls): Allow spaces in file names.
4682
4683 1997-02-05  Hrvoje Niksic  <hniksic@srce.hr>
4684
4685         * http.c (http_atotm): Initialize tm.is_dst.
4686
4687 1997-02-02  Hrvoje Niksic  <hniksic@srce.hr>
4688
4689         * http.c (gethttp): Don't print the number of retrieved headers.
4690
4691         * main.c (main): New option `--no-clobber', alias for `-nc'.
4692
4693         * url.c: Recognize `https://'.
4694
4695 1997-02-01  Hrvoje Niksic  <hniksic@srce.hr>
4696
4697         * host.c (herrmsg): Don't use h_errno.
4698
4699 1997-01-30  Hrvoje Niksic  <hniksic@srce.hr>
4700
4701         * host.c (accept_domain): Use it.
4702
4703         * main.c (main): New option `--exclude-domains'.
4704
4705         * retr.c (retrieve_url): Use it.
4706         (retrieve_url): Bail out when an URL is redirecting to itself.
4707
4708         * url.c (url_equal): New function.
4709
4710 1997-01-29  Hrvoje Niksic  <hniksic@srce.hr>
4711
4712         * connect.c: Include arpa/inet.h instead of arpa/nameser.h.
4713
4714         * http.c (mk_utc_time): New function.
4715         (http_atotm): Use it; handle time zones correctly.
4716
4717 1997-01-28  Hrvoje Niksic  <hniksic@srce.hr>
4718
4719         * http.c: Ditto.
4720
4721         * ftp-basic.c: Use it instead of WRITE.
4722
4723         * connect.c (iwrite): New function.
4724
4725 1997-01-27  Hrvoje Niksic  <hniksic@srce.hr>
4726
4727         * cmpt.c (mktime): New function.
4728
4729         * netrc.c: Include <sys/types.h>.
4730
4731         * main.c (main): Wouldn't recognize --spider.
4732
4733         * retr.c (rate): Use `B', `KB' and `MB'.
4734         (reset_timer,elapsed_time): Moved from utils.c.
4735
4736         * ftp.c (ftp_retrieve_list): Ditto.
4737
4738         * http.c (http_loop): Don't touch the file if opt.dfp.
4739
4740 1997-01-24  Hrvoje Niksic  <hniksic@srce.hr>
4741
4742         * cmpt.c: New file.
4743
4744         * ftp.c (ftp_retrieve_glob): New argument semantics.
4745         (ftp_retrieve_dirs): Use it.
4746         (ftp_loop): Ditto.
4747
4748         * html.c (htmlfindurl): Recognize `'' as the quote char.
4749
4750 1997-01-23  Hrvoje Niksic  <hniksic@srce.hr>
4751
4752         * ftp.c (ftp_loop_internal): Use it.
4753
4754         * utils.c (remove_link): New function.
4755
4756 1997-01-22  Hrvoje Niksic  <hniksic@srce.hr>
4757
4758         * retr.c (retrieve_url): Require STRICT redirection URL.
4759
4760         * url.c (parseurl): New argument STRICT.
4761
4762         * http.c (hparsestatline): Be a little-bit less strict about
4763         status line format.
4764
4765 1997-01-21  Hrvoje Niksic  <hniksic@srce.hr>
4766
4767         * http.c (gethttp): Use it.
4768
4769         * main.c (main): Don't use '<digit>' as options.
4770
4771         * init.c: New option ignore_length.
4772
4773         * http.c (gethttp): Ditto.
4774         (http_loop): Check for redirection without Location:.
4775         (gethttp): Don't print Length unless RETROKF.
4776
4777         * ftp.c (getftp): Use it.
4778
4779         * url.c (mkalldirs): New function.
4780
4781         * utils.c (mymkdir): Don't check for existing non-directory.
4782
4783         * url.c (mkstruct): Don't create the directory.
4784
4785 1997-01-20  Hrvoje Niksic  <hniksic@srce.hr>
4786
4787         * init.c (setval): Removed NO_RECURSION checks.
4788
4789 1997-01-19  Hrvoje Niksic  <hniksic@srce.hr>
4790
4791         * version.c: "Released" 1.4.3-pre2.
4792
4793         * recur.c (recursive_retrieve): Bypass host checking only if URL
4794         is ftp AND parent URL is not ftp.
4795
4796         * ftp-basic.c (ftp_request): Print out Turtle Power.
4797
4798         * ftp.c (ftp_loop): Call ftp_retrieve_glob with 0 if there's no
4799         wildcard.
4800         (ftp_retrieve_glob): Call ftp_loop_internal even on empty list, if
4801         not glob.
4802
4803         * http.c (gethttp): Be a little bit smarter about status codes.
4804
4805         * recur.c (recursive_retrieve): Always reset opt.recursive when
4806         dealing with FTP.
4807
4808 1997-01-18  Hrvoje Niksic  <hniksic@srce.hr>
4809
4810         * retr.c (retrieve_url): New variable location_changed; use it for
4811         tests instead of mynewloc.
4812         (retrieve_url): Allow heuristic adding of html.
4813
4814         * url.c (url_filename): Don't use the `%' in Windows file names.
4815
4816         * http.c (http_loop): Always time-stamp the local file.
4817
4818         * http.c (http_loop): Ditto.
4819
4820         * ftp.c (ftp_retrieve_list): Use it.
4821
4822         * utils.c (my_touch): New function.
4823
4824         * ftp.c (ftp_retrieve_list): Use #ifdef HAVE_STRUCT_UTIMBUF
4825         instead of #ifndef NeXT.
4826
4827         * utils.c (strptime): New version, by Ulrich Drepper.
4828
4829 1997-01-17  Hrvoje Niksic  <hniksic@srce.hr>
4830
4831         * http.c (haccepts_none): Renamed from `haccepts_bytes'.
4832         (gethttp): If haccepts_none(), disable ACCEPTRANGES.
4833         (http_loop): Would remove ACCEPTRANGES.
4834
4835         * ftp.c (getftp): Call ftp_list with NULL.
4836
4837 1997-01-15  Hrvoje Niksic  <hniksic@srce.hr>
4838
4839         * html.c (ftp_index): Don't print minutes and seconds if we don't
4840         know them; beautify the output.
4841
4842         * ftp.c (getftp): Don't close the socket on FTPNSFOD.
4843
4844 1997-01-14  Hrvoje Niksic  <hniksic@srce.hr>
4845
4846         * utils.c (strptime): New function.
4847         (strptime): Don't use get_alt_number.
4848         (strptime): Don't use locale.
4849         (match_string): Made it a function.
4850
4851 1997-01-12  Hrvoje Niksic  <hniksic@srce.hr>
4852
4853         * http.c (http_atotm): New function.
4854         (http_loop): Use it.
4855
4856         * atotm.c: Removed from the distribution.
4857
4858         * http.c (base64_encode_line): Rewrite.
4859
4860 1997-01-09  Hrvoje Niksic  <hniksic@srce.hr>
4861
4862         * ftp.c (getftp): Use ftp_expected_bytes; print size.
4863
4864         * ftp-basic.c (ftp_response): Use ftp_last_respline.
4865         (ftp_expected_bytes): New function.
4866
4867         * ftp.c (getftp): Print the unauthoritative file length.
4868
4869         * ftp-ls.c: Renamed from ftp-unix.c.
4870         (ftp_parse_ls): Moved from ftp.c.
4871         (ftp_parse_unix_ls): Recognize seconds in time spec.
4872         (ftp_parse_unix_ls): Recognize year-less dates of the previous
4873         year.
4874
4875 1997-01-08  Hrvoje Niksic  <hniksic@srce.hr>
4876
4877         * ftp-basic.c: Don't declare errno if #defined.
4878
4879         * host.c (ftp_getaddress): Check for sysinfo legally.
4880
4881 1997-01-08  Darko Budor  <dbudor@diana.zems.fer.hr>
4882
4883         * connect.c (iread): Use READ.
4884
4885 1996-12-23  Hrvoje Niksic  <hniksic@srce.hr>
4886
4887         * url.c: Recognize finger, rlogin, tn3270, mid and cid as valid
4888         schemes.
4889
4890 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
4891
4892         * host.c (ftp_getaddress): Allow `.' in hostname.
4893
4894 1996-12-26  Darko Budor <dbudor@zems.fer.hr>
4895
4896         * wget.h: READ and WRITE macros for use instead of read and write
4897         on sockets, grep READ *.c, grep WRITE *.c
4898
4899         * wsstartup.c: new file - startup for winsock
4900
4901         * wsstartup.h: new file
4902
4903         * win32decl.h: new file - fixup for <errno.h> and winsock trouble
4904
4905         * configure.bat: Configure utility for MSVC
4906
4907         * src/Makefile.ms,config.h.ms: new files for use with MSVC 4.x
4908
4909 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
4910
4911         * version.c: Released 1.4.3-pre.
4912
4913         * utils.c (prnum): Accept long.
4914         (legible): Use prnum().
4915
4916         * connect.c (make_connection): Accept port as short.
4917         (bindport): Ditto.
4918
4919         * http.c (gethttp): Use search_netrc.
4920
4921 1996-12-21  Hrvoje Niksic  <hniksic@srce.hr>
4922
4923         * ftp.c (getftp): Use search_netrc.
4924
4925         * netrc.c (free_netrc): New function.
4926
4927         * init.c (home_dir): New function.
4928
4929         * url.c (convert_links): Allow REL2ABS changes.
4930
4931 1996-12-21  Gordon Matzigkeit  <gord@gnu.ai.mit.edu>
4932
4933         * netrc.c: New file.
4934         (parse_netrc, maybe_add_to_list): New functions.
4935
4936 1996-12-17  Hrvoje Niksic  <hniksic@srce.hr>
4937
4938         * retr.c (retrieve_url): Reset opt.recursion before calling
4939         ftp_loop if it is reached through newloc.
4940
4941         * init.c (run_wgetrc): Print the wgetrc path too, when reporting
4942         error; don't use "Syntax error", since we don't know if it is
4943         really a syntax error.
4944
4945 1996-12-16  Hrvoje Niksic  <hniksic@srce.hr>
4946
4947         * utils.c (acceptable): Extract the filename part of the path.
4948
4949         * recur.c (recursive_retrieve): Call acceptable() with the right
4950         argument; would bug out on wildcards.
4951
4952         * init.c (parse_line): Likewise.
4953
4954         * html.c (htmlfindurl): Cast to char * when calling stuff.
4955
4956 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
4957
4958         * ftp.c (getftp): Use ftp_pasv.
4959
4960         * ftp-basic.c (ftp_request): Accept NULL value.
4961         (ftp_pasv): New function.
4962
4963         * options.h (struct options): Add passive FTP option.
4964
4965 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
4966
4967         * url.c (parseurl): Debug output.
4968
4969         * utils.c (path_simplify): New one, adapted from bash's
4970         canonicalize_pathname().
4971
4972 1996-12-14  Hrvoje Niksic  <hniksic@srce.hr>
4973
4974         * ftp.c (getftp): Don't discard the buffer.
4975
4976         * retr.c (get_contents): New parameter nobuf.
4977
4978 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
4979
4980         * html.c (htmlfindurl): Recognize <meta contents="d; URL=...".
4981
4982         * init.c (setval): Strip the trailing slashes on CVECDIR.
4983
4984 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
4985
4986         * init.c: Make excludes and includes under CVECDIR instead of
4987         CVEC.
4988
4989 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
4990
4991         * url.c (get_urls_html): Skip "http:".
4992
4993 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
4994
4995         * utils.c (strcasecmp): From glibc.
4996         (strncasecmp): Also.
4997         (strstr): Also.
4998
4999         * url.c: Added javascript: to the list of URLs prefixes.
5000
5001 1996-12-12  Shawn McHorse  <riffraff@txdirect.net>
5002
5003         * recur.c (retrieve_robots): Print the warning message only if
5004         verbose.
5005
5006 1996-12-12  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
5007
5008         * ftp.c (ftp_retrieve_list): Use NeXT old utime interface.
5009
5010 1996-12-12  Hrvoje Niksic  <hniksic@srce.hr>
5011
5012         * systhings.h: New file.
5013
5014         * ../configure.in: Check for utime.h
5015
5016         * ftp.c: Check whether we have unistd.h.
5017
5018 1996-11-27  Hrvoje Niksic  <hniksic@srce.hr>
5019
5020         * recur.c (recursive_retrieve): Send the canonical URL as referer.
5021         (recursive_retrieve): Call get_urls_html with the canonical URL.
5022
5023 1996-12-13  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
5024
5025         * (configure.in, config.h.in, src/Makefile.in, src/*.[ch]): Add
5026         ansi2knr support for compilers which don't support ANSI style
5027         function prototypes and signatures.
5028
5029         * (aclocal.m4, src/ansi2knr.c, src/ansi2knr.1): New files.
5030
5031 1996-11-26  Hrvoje Niksic  <hniksic@srce.hr>
5032
5033         * url.c: Use it; Recognize paths ending with "." and ".." as
5034         directories.
5035         (url_filename): Append .n whenever file exists and could be a
5036         directory.
5037
5038         * url.h (ISDDOT): New macro.
5039
5040         * init.c (parse_line): Use unsigned char.
5041
5042         * url.c (get_urls_html): Cast to unsigned char * when calling
5043         htmlfindurl.
5044
5045         * html.c (htmlfindurl): Use unsigned char.
5046
5047         * version.c: Changed version to 1.4.3.
5048
5049 1996-11-25  Hrvoje Niksic  <hniksic@srce.hr>
5050
5051         * version.c: Released 1.4.2.
5052
5053         * ftp.c (getftp): Simplified assertion.
5054         (ftp_loop_internal): Remove symlink before downloading.
5055         (ftp_retrieve_list): Unlink the symlink name before attempting to
5056         create a symlink!
5057
5058         * options.h (struct options): Renamed print_server_response to
5059         server_response.
5060
5061         * ftp.c (rel_constr): Removed.
5062         (ftp_retrieve_list): Don't use it.
5063         (ftp_retrieve_list): Use opt.retr_symlinks.
5064
5065 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
5066
5067         * main.c (main): New option retr_symlinks.
5068
5069         * url.c (convert_links): Print verbose message.
5070
5071 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
5072
5073         * http.c (http_loop): Reset newloc in the beginning of function;
5074         would cause FMR in retrieve_url.
5075
5076 1996-11-23  Hrvoje Niksic  <hniksic@srce.hr>
5077
5078         * recur.c (convert_all_links): Find the URL of each HTML document,
5079         and feed it to get_urls_html; would bug out.
5080         (convert_all_links): Check for l2 instead of dl; removed dl.
5081
5082         * url.c (convert_links): Don't refer to freed newname.
5083
5084         * recur.c (recursive_retrieve): Add this_url to urls_downloaded.
5085
5086         * main.c (main): Print the OS_TYPE in the debug output, too.
5087
5088         * recur.c (recursive_retrieve): Check for opt.delete_after.
5089
5090         * main.c (main): New option delete-after.
5091
5092         * init.c (setval): Cleaned up.
5093
5094 1996-11-21  Hrvoje Niksic  <hniksic@srce.hr>
5095
5096         * Makefile.in (wget): Make `wget' the default target.
5097
5098         * ftp.c (ftp_loop_internal): Move noclobber checking out of the
5099         loop.
5100         (ftp_retrieve_list): Warn about non-matching sizes.
5101
5102         * http.c (http_loop): Made -nc non-dependent on opt.recursive.
5103
5104         * init.c (setnum): Renamed from setnuminf; New argument flags.
5105         (setval): Use it.
5106
5107         * main.c (main): Sorted the options.
5108         (main): New option --wait.
5109
5110 1996-11-21  Shawn McHorse  <riffraff@txdirect.net>
5111
5112         * html.c (htmlfindurl): Reset s->in_quote after getting out of
5113         quotes.
5114
5115 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
5116
5117         * version.c: Changed version to 1.4.2.
5118
5119 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
5120
5121         * version.c: Released 1.4.1.
5122
5123         * html.c (html_quote_string): New function.
5124         (ftp_index): Use it.
5125         (htmlfindurl): A more gentle ending debug message.
5126
5127         * ftp.c (ftp_loop): Check for opt.htmlify.
5128
5129         * init.c: New command htmlify.
5130
5131         * ftp.c (getftp): Nicer error messages, with `'-encapsulated
5132         strings.
5133         (ftp_loop): Print size of index.html.
5134
5135         * init.c (setval): Implement "styles".
5136
5137         * main.c (main): New option dotstyle.
5138
5139 1996-11-19  Hrvoje Niksic  <hniksic@srce.hr>
5140
5141         * ftp.c (getftp): Close the master socket in case of errors, after
5142         bindport().
5143
5144         * connect.c (bindport): Initialize msock to -1.
5145
5146         * ftp.c (getftp): Initialize dtsock to -1.
5147
5148         * connect.c (closeport): Don't close sock if sock == -1.
5149
5150 1996-11-18  Hrvoje Niksic  <hniksic@srce.hr>
5151
5152         * init.c (setnuminf): Nuked default value -- just leave unchanged.
5153         (setval): Don't send default values.
5154         (defaults): Use DEFAULT_TIMEOUT -- aaargh.
5155
5156         * options.h (struct options): Use long for dot_bytes.
5157
5158         * init.c (setquota): Renamed to setbytes.
5159         (setval): Use setbytes on DOTBYTES.
5160
5161 1996-11-17  Hrvoje Niksic  <hniksic@srce.hr>
5162
5163         * ftp.c (getftp): Initialize con->dltime.
5164
5165         * recur.c (recursive_retrieve): Use same_host instead of
5166         try_robots; simply load robots_txt whenever the host is changed.
5167         (recursive_retrieve): Free forbidden before calling parse_robots.
5168
5169 1996-11-16  Hrvoje Niksic  <hniksic@srce.hr>
5170
5171         * retr.c (show_progress): Use them.
5172
5173         * options.h (struct options): New options dot_bytes, dots_on_line
5174         and dot_spacing.
5175
5176 1996-11-16  Mark Boyns  <boyns@sdsu.edu>
5177
5178         * recur.c (recursive_retrieve): Retrieve directories regardless of
5179         acc/rej rules; check for empty u->file.
5180
5181 1996-11-14  Hrvoje Niksic  <hniksic@srce.hr>
5182
5183         * init.c (setval): Use it.
5184
5185         * utils.c (merge_vecs): New function.
5186
5187         * init.c (setval): Reset the list-type functions when encountering
5188         "".
5189
5190 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
5191
5192         * recur.c (recursive_retrieve): Use base_url instead of this_url
5193         for no_parent.
5194
5195 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
5196
5197         * html.c (htmlfindurl): Reset s->in_quote after exiting the quote.
5198
5199 1996-11-13  Hrvoje Niksic  <hniksic@srce.hr>
5200
5201         * utils.c (sepstring): Rewrote; don't use strtok.
5202
5203         * recur.c (recursive_retrieve): Enter assorted this_url to slist
5204         when running the first time.
5205         (retrieve_robots): Warn to ignore errors when robots are loaded.
5206
5207         * utils.c (load_file): Moved from url.c.
5208
5209         * http.c: Made static variables const too in h* functions.
5210
5211         * main.c (main): Renamed --continue-ftp to --continue.
5212
5213         * recur.c (recursive_retrieve): Use it.
5214
5215         * utils.c (frontcmp): New function.
5216
5217         * url.c (accdir): New function.
5218
5219         * html.c (htmlfindurl): Recognize <area href=...>.
5220
5221         * ftp.c (ftp_retrieve_dirs): Implemented opt.includes.
5222
5223         * init.c (setval): Free the existing opt.excludes and
5224         opt.includes, if available.
5225
5226         * main.c (main): New option -I.
5227
5228 1996-11-12  Hrvoje Niksic  <hniksic@srce.hr>
5229
5230         * ftp.c (ftp_retrieve_glob): Do not weed out directories.
5231
5232         * version.c: Changed version to 1.4.1.
5233
5234 1996-11-11  Hrvoje Niksic  <hniksic@srce.hr>
5235
5236         * version.c: Released 1.4.0.
5237
5238 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
5239
5240         * main.c (main): Free com and val after parse_line.
5241         (printhelp): Reorder the listing.
5242
5243         * http.c: More robust header parsing.
5244
5245         * http.c: Allow any number of spaces, or no spaces, precede ':'.
5246         (hskip_lws): New function.
5247         (haccepts_bytes): New function.
5248         (gethttp): Use it.
5249
5250         * init.c (setval): Check header sanity.
5251         (setval): Allow resetting of headers.
5252
5253 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
5254
5255         * http.c (http_loop): Don't use has_wildcards.
5256
5257         * http.c (gethttp): Free all_headers -- would leak.
5258
5259         * recur.c (recursive_retrieve): Initialize depth to 1 instead of
5260         0 -- this fixes a long-standing bug in -rl.
5261
5262 1996-11-09  Hrvoje Niksic  <hniksic@srce.hr>
5263
5264         * ftp.c: Use -1 as "impossible" value for con->fd.
5265
5266         * url.h (URL_SEPARATOR): Don't treat `*' and `+' as separators.
5267
5268         * init.c (parse_line): Use isalpha.
5269
5270         * ftp-unix.c: Use HAVE_UNISTD_H.
5271
5272         * mtch.c (has_wildcards): Don't match \.
5273
5274         * http.c (http_loop): Warn on HTTP wildcard usage.
5275
5276 1996-11-08  Hrvoje Niksic  <hniksic@srce.hr>
5277
5278         * url.c (url_filename): Do not create numbered suffixes if
5279         opt.noclobber -- would bug out on -nc.
5280
5281 1996-11-07  Hrvoje Niksic  <hniksic@srce.hr>
5282
5283         * recur.c (parse_robots): Don't chuck out the commands without
5284         arguments (`Disallow:<empty>' didn't work).
5285         (parse_robots): Compare versions lowercase.
5286         (parse_robots): Match on base_version, not version_string!
5287         (parse_robots): Handle comments properly.
5288         (parse_robots): Match versions in a sane way.
5289
5290         * init.c: Print nicer error messages.
5291
5292         * version.c: Changed version to 1.4.0.
5293
5294 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
5295
5296         * version.c: Released 1.4.0-test2.
5297
5298         * init.c (run_wgetrc): Close fp.
5299
5300         * ftp.c (ftp_retrieve_dirs): Allocate the correct length for
5301         u->dir.
5302
5303 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
5304
5305         * init.c (setquota): Allow inf as quota specification.
5306
5307 1996-11-05  Hrvoje Niksic  <hniksic@srce.hr>
5308
5309         * ftp.c (ftp_retrieve_dirs): Return QUOTEXC if quota exceeded.
5310         (ftp_retrieve_glob): Return QUOTEXC on quota exceeded.
5311
5312         * main.c (main): Check for quota by comparison with downloaded
5313         stuff, not from status.
5314
5315         * connect.c (select_fd): Should compile on HPUX without warnings now.
5316
5317         * ftp.c (ftp_get_listing): Check whether ftp_loop_internal
5318         returned RETROK.
5319
5320 1996-11-04  Hrvoje Niksic  <hniksic@srce.hr>
5321
5322         * ftp.c (ftp_retrieve_glob): Print the pattern nicely.
5323         (getftp): Return FTPRETRINT on control connection error.
5324
5325         * html.c (htmlfindurl): Recognize <embed src=...> and
5326         <bgsound src=...>.
5327         (ftp_index): Handle username and password correctly.
5328
5329         * main.c (main): Made `-np' a synonim for --no-parent.
5330
5331 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
5332
5333         * ftp.c (ftp_loop): Check for opt.ftp_glob too before calling
5334         ftp_retrieve_glob.
5335
5336         * version.c: Changed version to 1.4.0-test2.
5337
5338 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
5339
5340         * version.c: Released 1.4.0-test1.
5341
5342         * url.c (str_url): Don't use sprintf when creating %2F-prefixed
5343         directory.
5344         (convert_links): Removed definition of make_backup.
5345
5346         * http.h: Removed definition of MAX_ERROR_LENGTH.
5347
5348         * host.c (ftp_getaddress): Check for "(none)" domains.
5349
5350         * ftp.c (ftp_retrieve_dirs): Docfix.
5351
5352         * http.c (gethttp): Use ou->referer instead of u->referer.
5353
5354         * retr.c (retrieve_url): Reset u to avoid freeing pointers twice;
5355         this was known to cause coredumps on Linux.
5356
5357         * html.c (ftp_index): Cast the argument to local_time to time_t *.
5358
5359 1996-11-01  Hrvoje Niksic  <hniksic@srce.hr>
5360
5361         * connect.c (select_fd): Use exceptfds -- once and for all.
5362
5363         * retr.c (retrieve_from_file): Free filename after
5364         recursive_retrieve.
5365         (retrieve_from_file): Send RFIRST_TIME to recursive_retrieve on
5366         first-time retrieval.
5367         (retrieve_from_file): Return uerr_t; new argument, count.
5368         (retrieve_from_file): Break on QUOTEXC.
5369
5370         * init.c (setquota): Fixed a bug that caused rejection of
5371         non-postfixed values..
5372
5373 1996-10-30  Hrvoje Niksic  <hniksic@srce.hr>
5374
5375         * version.c: Changed name to wget.
5376
5377         * connect.c (iread): Smarter use of select.
5378         (select_fd): Set errno on timeout.  If not timeout, return 1
5379         instead of 0.
5380
5381 1996-10-29  Hrvoje Niksic  <hniksic@srce.hr>
5382
5383         * ftp.c (ftp_loop_internal): Don't use con->cmd before
5384         establishing it.
5385
5386 1996-10-26  Hrvoje Niksic  <hniksic@srce.hr>
5387
5388         * http.c (gethttp): Send correct referer when using proxy.
5389         (gethttp): Use struct urlinfo ou to access the relevant data; send
5390         correct authorization in all cases.
5391
5392         * host.c (same_host): Use skip_uname to skip username and
5393         password.
5394
5395         * url.c (skip_uname): New function.
5396         (parseurl): Use it.
5397
5398         * host.c (same_host): Do not assume HTTP -- same_host should now
5399         be totally foolproof.
5400
5401         * url.c (skip_proto): New function.
5402         (parse_uname): Use it.
5403
5404         * http.c (gethttp): Create local user and passwd from what is
5405         given.
5406
5407         * url.c (parseurl): Check for HTTP username and password too.
5408
5409 1996-10-25  Hrvoje Niksic  <hniksic@srce.hr>
5410
5411         * config.h.in: Removed #define gethostbyname R...
5412
5413 1996-10-22  Hrvoje Niksic  <hniksic@srce.hr>
5414
5415         * version.c: Changed version to 1.4.0-test1.
5416
5417 1996-10-21  Hrvoje Niksic  <hniksic@srce.hr>
5418
5419         * version.c: "Released" 1.4b29.
5420
5421         * recur.c (recursive_retrieve): Check for no_parent.
5422
5423         * init.c (setval): Option update.
5424
5425         * main.c (main): New option no-parent.
5426
5427         * options.h (struct options): New variable no_parent.
5428
5429         * recur.c (recursive_retrieve): Only files are checked for
5430         opt.accepts and opt.rejects.
5431         (recursive_retrieve): Check directories for opt.excludes.
5432         (recursive_retrieve): Make the dir absolute when checking
5433         opt.excludes.
5434
5435         * html.c (htmlfindurl): Recognize <applet code=...> and <script
5436         src=...>
5437
5438 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
5439
5440         * ftp.c (getftp): Do not line-break assert entries at all.
5441         (ftp_retrieve_dirs): docfix.
5442
5443         * connect.c (select_fd): Use fd + 1 as nfds.
5444
5445         * version.c: Changed version to 1.4b29.
5446
5447 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
5448
5449         * version.c: "Released" 1.4b28.
5450
5451         * ftp.c (ftp_loop_internal): Check whether f->size == len and
5452         don't continue the loop if it is.
5453         (ftp_get_listing): Remove list_filename on unsuccesful loop.
5454
5455 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
5456
5457         * ftp.c (ftp_loop_internal): Use strcpy to initialize tmp.
5458         (getftp): Do not use multiline assert.
5459
5460         * http.c (hparsestatline): Use mjr and mnr instead of major and
5461         minor, which don't compile on Ultrix.
5462         (http_loop): Use strcpy() to initialize tmp.
5463
5464         * all: Geturl -> Fetch
5465
5466 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
5467
5468         * recur.c (parse_robots): Fixed an off-by-one bug when looking for
5469         ':'.
5470
5471         * html.c (htmlfindurl): Fixed several possible off-by-one bugs by
5472         moving `bufsize &&' to the beginning of each check in for-loops.
5473
5474         * recur.c (parse_robots): Close fp on exit.
5475
5476         * url.c (mymkdir): Check for each directory before creating.
5477
5478 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
5479
5480         * version.c: Changed version to 1.4b28.
5481
5482 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
5483
5484         * version.c: "Released" 1.4b27.
5485
5486         * init.c (parse_line): Use isspace.
5487         (parse_line): Free *com on all errors.
5488
5489         * ftp.c (ftp_loop): Change FTPOK to RETROK before exiting.
5490         (delelement): Use next instead of f->next and prev instead of
5491         f->prev.
5492         (delelement): Free the members of the deleted element.
5493
5494         * http.c (http_loop): Do not return RETROK on code != 20x.
5495
5496         * init.c (cleanup): Free opt.user_header.
5497         (cleanup): Free opt.domains.
5498
5499         * url.c (freelists): Moved to cleanup().
5500
5501         * http.c (hparsestatline): Docfix.
5502
5503         * main.c (main): Return with error status on unsuccesful
5504         retrieval.
5505
5506         * init.c (setval): Do not remove listing when mirroring.
5507
5508         * url.c (url_filename): Use opt.fileprefix.
5509
5510         * ftp.c (ftp_get_listing): Use url_filename to get filename for
5511         .listing.
5512
5513         * main.c (main): New option: -rn.
5514
5515 1996-10-15  Hrvoje Niksic  <hniksic@srce.hr>
5516
5517         * Makefile.in (RM): Added RM = rm -f.
5518
5519         * host.c (clean_hosts): New function.
5520         (free_hlist): Just free the list, no reset.
5521
5522         * version.c: Changed version to 1.4b27.
5523
5524 1996-10-13  Hrvoje Niksic  <hniksic@srce.hr>
5525
5526         * version.c: "Released" 1.4b26.
5527
5528         * retr.c (retrieve_from_file): If call get_urls_html with
5529         opt.spider to make it silent in spider mode.
5530
5531         * url.c (str_url): Use CLEANDUP instead of URL_CLEANSE.
5532
5533         * url.h (CLEANDUP): New macro.
5534
5535         * http.c (gethttp): Fixed a bug that freed location only when it
5536         was NULL.
5537
5538         * retr.c (retrieve_url): Free url if it will not be stored,
5539         i.e. newloc is NULL.
5540
5541         * html.c (htmlfindurl): Handle exiting from quotes correctly; the
5542         old version would bug out on <a href="x#a"href="y">.
5543
5544         * html.h (state_t): New member in_quote.
5545
5546         * html.c (htmlfindurl): Free s->attr at the beginning of
5547         attr-loop.
5548
5549         * recur.c (recursive_retrieve): Recognize RCLEANUP.
5550         (tried_robots): Make hosts a global variable.
5551         (recursive_retrieve): Free constr after URL host optimization.
5552         (tried_robots): Free urlinfo before exiting.
5553
5554         * utils.c (free_slist): New function.
5555
5556         * recur.c (recursive_retrieve): Use flags to add cleanup
5557         possibility.
5558
5559         * main.c (main): Free filename after recursive_retrieve.
5560
5561         * http.c (gethttp): Store successful responses too.
5562
5563 1996-10-12  Hrvoje Niksic  <hniksic@srce.hr>
5564
5565         * all: Constified the whole source.  This required some minor
5566         changes in many functions in url.c, possibly introducing bugs -- I
5567         hope not.
5568
5569         * ftp-basic.c: Removed last_respline.
5570
5571         * http.c (gethttp): Free type.
5572
5573         * host.c (same_host): Free real1 and real2.
5574
5575         * main.c (main): New option --spider.
5576
5577         * retr.c (get_contents): Don't reset errno.
5578
5579         * main.c (main): Sorted the options.
5580
5581         * connect.c (iread): Set errno to ETIMEDOUT only if it was left
5582         uninitialized by select().
5583
5584         * http.c (http_loop): Print the time when the connection is
5585         closed.
5586         (gethttp): Debug-print the HTTP request.
5587
5588 1996-10-11  Hrvoje Niksic  <hniksic@srce.hr>
5589
5590         * connect.c (iread): Do not try reading after timeout.
5591
5592         * main.c (main): Would bug out on -T.
5593
5594         * connect.c (select_fd): Do not use exceptfds.
5595         (iread): Set ETIMEDOUT on select_fd <= 0.
5596
5597         * version.c: Changed version to 1.4b26.
5598
5599 1996-10-10  Hrvoje Niksic  <hniksic@srce.hr>
5600
5601         * version.c: "Released" 1.4b25.
5602
5603         * ftp-unix.c (ftp_parse_unix_ls): Ignore lines without file name
5604         or link name.
5605
5606         * http.c (gethttp): Add errcode to struct hstat.
5607         (http_loop): Use it.
5608
5609         * url.c (no_proxy_match): Simplify using char** for no_proxy.
5610
5611         * options.h (struct options): Make opt.no_proxy a vector.
5612
5613         * utils.c (sepstring): Use !*s instead of !strlen(s).
5614
5615         * init.c (setval): Set opt.maxreclevel to 0 on --mirror.
5616         (getperms): Use ISODIGIT instead of isdigit.
5617
5618         * ftp.c (getftp): Print time.
5619
5620         * main.c (main): Use legible output of downloaded quantity.
5621
5622         * ftp.c (getftp): Use elapsed_time().
5623         (ftp_loop_internal): Use rate().
5624
5625         * http.c (http_loop): Add download ratio output; Use rate().
5626
5627         * utils.c (rate): New function.
5628
5629 1996-10-09  Hrvoje Niksic  <hniksic@srce.hr>
5630
5631         * http.c (http_loop): Use timer.
5632
5633         * ftp.c: Split to ftp-basic.c and ftp.c
5634
5635         * utils.c (reset_timer): New function.
5636         (elapsed_time): New function.
5637
5638         * retr.c (show_progress): Make bytes_in_line and offs long; should
5639         work on 16-bit machines.
5640
5641 1996-10-08  Hrvoje Niksic  <hniksic@srce.hr>
5642
5643         * url.c (in_acclist): New argument backward.
5644
5645         * ftp.c (ftp_retrieve_glob): Use acceptable() to determine whether
5646         a file should be retrieved according to suffix.
5647         (ftp_get_listing): Check the return value of unlink; Do not call
5648         ftp_retrieve_dirs if depth reached maxreclevel.
5649         (ftp_retrieve_dirs): Check whether the directory is in
5650         exclude-list.
5651
5652         * main.c (main): Print the version number at the beginning of
5653         DEBUG output.
5654         (main): Use strrchr when creating exec_name.
5655
5656         * ftp.c (ftp_retrieve_glob): Do not close control connection.
5657
5658         * version.c: Changed version to 1.4b25.
5659
5660 1996-10-07  Hrvoje Niksic  <hniksic@srce.hr>
5661
5662         * version.c: "Released" 1.4b24.
5663
5664         * Makefile.in: Rewrite.
5665
5666         * ftp.c (ftp_loop_internal): Likewise.
5667
5668         * retr.c (time_str): Check for failed time().
5669
5670         * html.c (htmlfindurl): Recognize <fig src> and <overlay src> from
5671         HTML3.0.
5672
5673         * retr.c (time_str): Return time_t *.
5674
5675         * connect.c (bindport): Close msock on unsuccesful bind.
5676         (bindport): The same for getsockname and listen.
5677
5678         * retr.c (retrieve_url): Allow any number of retries on
5679         proxy.
5680
5681         * http.c (gethttp): Do not treat errno == 0 as timeout.
5682         (http_loop): Likewise.
5683         (http_loop): Cosmetic changes.
5684
5685         * connect.c (iread): Set errno to ETIMEDOUT in case of timeout.
5686
5687         * retr.c (get_contents): Reset errno.
5688
5689         * ftp.c (getftp): Minor fixes.
5690
5691 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
5692
5693         * http.c: Do not use backups.
5694
5695         * geturl.1 (WARNING): Warn that man-page could be obsolete.
5696
5697         * getopt.c (getopt_long): Moved to getopt.c
5698
5699         * geturl.texi: Enhanced.
5700
5701         * main.c (main): Use it.
5702
5703         * recur.c (convert_all_links): New function.
5704
5705         * utils.c (add_slist): New argument flags.
5706
5707         * recur.c (recursive_retrieve): Update a list of downloaded URLs.
5708         (parse_robots): Do not chuck out empty value fields.
5709         (parse_robots): Make yourself welcome on empty Disallow.
5710
5711         * version.c: Changed version to 1.4b24.
5712
5713 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
5714
5715         * version.c: "Released" 1.4b23.
5716
5717         * ftp.c (ftp_loop_internal): Get the time after getftp.
5718
5719         * Makefile.in (install.info): New target.
5720         (install): Use it.
5721
5722         * http.c (http_loop): Fix output when doing -O.
5723
5724 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
5725
5726         * geturl.texi: New file.
5727
5728         * main.c (main): Do not print the warnings and download summary if
5729         opt.quiet is set.
5730
5731         * version.c: Changed version to 1.4b23.
5732
5733 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
5734
5735         * "Released" 1.4b22.
5736
5737         * atotm.c (atotm): Use True and False instead of TRUE and FALSE,
5738         to avoid redefinition warnings.
5739
5740         * host.c (store_hostaddress): Use memcpy() to copy the address
5741         returned by inet_addr.
5742
5743         * version.c: Changed version to 1.4b22.
5744
5745 1996-10-04  Hrvoje Niksic  <hniksic@srce.hr>
5746
5747         * version.c: "Released" 1.4b21.
5748
5749         * ftp-unix.c (ftp_parse_ls): Renamed to ftp_parse_unix_ls.
5750
5751         * ftp.c (ftp_port): Use conaddr.
5752         (getftp): Print the file length.
5753         (ftp_retrieve_list): Check the stamps of plain files only.
5754
5755         * connect.c (closeport): Do not call shutdown().
5756         (conaddr): New function.
5757
5758         * html.c (ftp_index): Made it dfp-aware.
5759
5760         * init.c (cleanup): New name of freemem. Close opt.dfp.
5761
5762         * ftp.c (getftp): Use opt.dfp if it is set.
5763
5764         * ftp-unix.c (ftp_parse_ls): Recognize time in h:mm format.
5765
5766         * ftp.c (ftp_retrieve_dirs): Fixed a bug that caused incorrect
5767         CWDs to be sent with recursive FTP retrievals.
5768
5769 1996-10-03  Hrvoje Niksic  <hniksic@srce.hr>
5770
5771         * recur.c (parse_robots): Made it more compliant with "official"
5772         specifications.
5773
5774         * http.c: New function.
5775
5776         * ftp-unix.c (ftp_parse_ls): Added better debug output.
5777
5778         * ftp.c (getftp): Print out the LIST in case of
5779         opt.print_server_response.
5780
5781         * version.c: Changed version to 1.4b21.
5782
5783 1996-10-01  Hrvoje Niksic  <hniksic@srce.hr>
5784
5785         * version.c: "Released" 1.4b20.
5786
5787         * README: Update.
5788
5789         * http.c (gethttp): Preset lengths of various headers instead of
5790         calculating them dynamically.
5791         (gethttp): Check for 206 partial contents.
5792
5793 1996-09-30  Hrvoje Niksic  <hniksic@srce.hr>
5794
5795         * configure.in: Set SYSTEM_GETURLRC to $libdir/geturlrc
5796
5797         * http.c (gethttp): Send the port number in the Host: header.
5798
5799 1996-09-29  Hrvoje Niksic  <hniksic@srce.hr>
5800
5801         * http.c (gethttp): Send host: header.
5802         (gethttp): Add the possibility of user-defined headers.
5803         (gethttp): Move decision about pragma: no-cache to http_loop,
5804         where it belongs.
5805         (gethttp): Pass a struct instead of enormous argument list.
5806         (http_loop): Use a new, fancier display format.
5807         (ftp_loop): Likewise.
5808
5809         * main.c: (hangup): Turn off buffering of the new log file.
5810
5811         * install-sh: Likewise.
5812
5813         * config.sub: Replace with the one in autoconf-2.10
5814
5815         * geturl.1: Update.
5816
5817         * init.c: New options httpuser and httppasswd.
5818
5819         * http.c: (base64_encode_line): New function.
5820         (gethttp): Send authentication.
5821
5822         * connect.c (make_connection): Use store_hostaddress.
5823
5824 1996-09-28  Hrvoje Niksic  <hniksic@srce.hr>
5825
5826         * host.c (store_hostaddress): New function.
5827
5828         * NEWS: Update.
5829
5830         * http.c (hgetrange): New function.
5831         (gethttp): Use ranges.
5832
5833         * utils.c (numdigit): Accept long instead of int.
5834
5835         * http.c (http_loop): Add restart capabilities.
5836
5837         * ftp.c (ftp_retrieve_glob): Fixed a bug that could cause matchres
5838         being used uninitialized.
5839         (ftp_retrieve_list): Similar fix.
5840
5841         * host.c (add_hlist): Fixed a bug that could cause cmp being used
5842         uninitialized.
5843
5844         * url.c (construct_relative): New function.
5845
5846         * recur.c (recursive_retrieve): Use it.
5847
5848         * retr.c (convert_links): New function.
5849
5850 1996-09-27  Hrvoje Niksic  <hniksic@srce.hr>
5851
5852         * url.c (free_urlpos): New function.
5853
5854         * recur.c (recursive_retrieve): Adapt.
5855
5856         * url.c (get_urls_html): Return a linked list instead of a vector.
5857
5858         * url.c (get_urls_file): Return a linked list instead of a vector.
5859
5860         * geturl.1: Update.
5861
5862         * http.c (gethttp): Implement it.
5863
5864         * init.c (setval): New option: SAVEHEADERS
5865
5866         * ftp.c (ftp_loop_internal): Do not set restval if listing is to
5867         be retrieved. Lack of this test caused bugs when the connection
5868         was lost during listing.
5869
5870         * retr.c (retrieve_url): Fixed a bug that caused
5871         coredumps. *newloc is now reset by default.
5872         (retrieve_url): Lift the twenty-tries limit on proxies.
5873
5874         * version.c: Changed version to 1.4b20.
5875
5876 1996-09-20  Hrvoje Niksic  <hniksic@srce.hr>
5877
5878         * version.c: "Released" 1.4b19.
5879
5880 1996-09-19  Hrvoje Niksic  <hniksic@srce.hr>
5881
5882         * ftp.c (ftp_loop_internal): Renamed from ftp_1fl_loop.
5883         (getftp): Changed prototype to accept ccon *.
5884
5885 1996-09-17  Hrvoje Niksic  <hniksic@srce.hr>
5886
5887         * ftp.c (ftp_retrieve_list): Fixed a bug that caused setting
5888         incorrect values to files pointed to by symbolic links.
5889         (ftp_1fl_loop): Do not count listings among the downloaded URL-s.
5890
5891 1996-09-16  Hrvoje Niksic  <hniksic@srce.hr>
5892
5893         * url.c (mkstruct): Do not prepend "./" in front of a pathname.
5894
5895         * main.c (main): New option: --user-agent.
5896
5897         * geturl.1: Ditto.
5898
5899         * init.h: Ditto.
5900
5901         * init.c (setval): Ditto.
5902
5903         * main.c (main): Rename "server-headers" to "server-response".
5904
5905         * ftp-unix.c (ftp_parse_ls): Check for asterisks at the end of
5906         executables in 'ls -F' listings.
5907
5908 1996-09-15  Hrvoje Niksic  <hniksic@srce.hr>
5909
5910         * url.c (parseurl): Remove realloc() and sprintf().
5911         (str_url): Get rid of sprintf().
5912
5913         * recur.c (recursive_retrieve): Enable FTP recursion through proxy
5914         servers.
5915
5916         * url.h (URL_CLEANSE): Made it else-resistant.
5917         (USE_PROXY): New macro.
5918
5919 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
5920
5921         * NEWS: Update.
5922
5923         * version.c: Changed version to 1.4b19.
5924
5925 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
5926
5927         * version.c: "Released" 1.4b18.
5928
5929         * url.c: Made it reallocate space exponentially.
5930
5931 1996-09-14  Drazen Kacar  <dave@fly.cc.fer.hr>
5932
5933         * html.c (htmlfindurl): Added <frame src> and <iframe src> among
5934         the list of stuff to fetch.
5935
5936 1996-09-13  Hrvoje Niksic  <hniksic@srce.hr>
5937
5938         * url.c (get_urls_html): Fixed a bug that caused SIGSEGV's with
5939         -Fi.
5940
5941         * html.c (htmlfindurl): Rewrite.
5942
5943         * http.c (gethttp): Use opt.proxy_cache.
5944
5945         * main.c (main): Added --cache option.
5946
5947         * ftp.c (ftp_response): Print server response if opt.print_server
5948         response is set.
5949         (getftp): Print newlines after each request if the server response
5950         is to be printed.
5951         (ftp_response): Copy the last response line to last_respline.
5952
5953         * http.c (gethttp): Add Pragma: nocache for retried
5954         proxy-retrievals.
5955
5956         * ftp.c (getftp): Use it.
5957
5958         * retr.c (buf_discard): New function.
5959
5960         * ftp.c (ftp_response): Use buf_readchar().
5961         (getftp): Flush the control connection buffer before calling
5962         get_contents().
5963
5964         * retr.c (buf_readchar): New function.
5965         (buf_flush): New function.
5966         (get_contents): Use buf_readchar() instead of read(x, x, 1).
5967         (get_contents): Use buf_flush.
5968
5969 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
5970
5971         * ftp.c: Incorporate changes to ftp_response.
5972
5973         * ftp.c (ftp_response): Allocate the server response dynamically,
5974         as in read_whole_line and fetch_next_header.
5975
5976         * utils.c (read_whole_line): Fixed a bug that prevented reading
5977         the last line if it is not \n-terminated. Also fixed a possible
5978         memory overflow.
5979
5980         * http.c (fetch_next_header): Return malloc-ed string as large as
5981         needed.
5982         (gethttp): Use new fetch_next_header.
5983
5984 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
5985
5986         * http.c (hgetlen): Compute the header length the first time only.
5987         (hgettype): Ditto.
5988         (hgetlocation): Ditto.
5989         (hgetmodified): Ditto.
5990
5991 1996-09-11  Hrvoje Niksic  <hniksic@srce.hr>
5992
5993         * sample.geturlrc: Update.
5994
5995 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
5996
5997         * http.c (http_loop): Ditto.
5998
5999         * ftp.c (getftp): Open the output file as binary.
6000
6001         * version.c: Changed version to 1.4b18.
6002
6003 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
6004
6005         * version.c: "Released" 1.4b17.
6006
6007         * ftp-unix.c (ftp_parse_ls): If unable to open file, return NULL
6008         instead of failed assertion.
6009
6010 1996-09-09  Hrvoje Niksic  <hniksic@srce.hr>
6011
6012         * ftp.c (ftp_get_listing): Add a numbered suffix to LIST_FILENAME
6013         if a file of that name already exists.
6014
6015 1996-09-05  Hrvoje Niksic  <hniksic@srce.hr>
6016
6017         * ftp.c (ftp_1fl_loop): Handler FTPPORTERR and FOPENERR correctly.
6018
6019         * config.h.in: Define gethostbyname as Rgethostbyname when using
6020         Socks.
6021
6022         * configure.in: Check for -lresolv if using Socks.
6023
6024         * version.c: Changed version to 1.4b17.
6025
6026 1996-07-15  Hrvoje Niksic  <hniksic@srce.hr>
6027
6028         * version.c: "Released" 1.4b16.
6029
6030         * http.c (gethttp): More intelligent check for first line of HTTP
6031         response.
6032         (gethttp): Would bug out on time-stamping.
6033
6034         * version.c: Changed version to 1.4b16.
6035
6036 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
6037
6038         * version.c: Released 1.4b15.
6039
6040         * http.c (http_loop): Print \n after the loop entry, not before.
6041
6042         * url.c (url_filename): Use ISDOT.
6043
6044         * url.h (ISDOT): New macro.
6045
6046         * recur.c (recursive_retrieve): Change only opt.recursive for
6047         following FTP.
6048
6049 1996-07-11  Antonio Rosella <antonio.rosella@agip.it>
6050
6051         * socks/geturl.cgi: Fixed version No.
6052
6053         * socks/download-netscape.html: Ditto.
6054
6055         * socks/download.html: Changed socks.html to download.html.
6056
6057 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
6058
6059         * url.c (url_filename): Check for opt.dirstruct instead for
6060         opt.recursive && opt.dirstruct.
6061
6062         * init.c (defaults): Ditto.
6063         (defaults): Reset dirstruct by default.
6064         (setval): Set opt.dirstruct whenever setting recursive.
6065
6066         * init.h: Removed FORCEDIRHIER.
6067
6068         * INSTALL: Added -L to socks-description.
6069
6070         * version.c: Changed version to 1.4b15.
6071
6072 1996-07-10  Hrvoje Niksic  <hniksic@srce.hr>
6073
6074         * version.c: "Released" 1.4b14.
6075
6076         * geturl.1: Update AUTHOR to include Rosella as contributor.
6077
6078         * NEWS: Update.
6079
6080         * socks/geturl.cgi: Simplified command creation, nuked <blink>.
6081
6082         * socks/geturl.cgi: Wrap nutscape extensions within if $netscape.
6083         (cal_time): Fix == to eq.
6084
6085         * socks/geturl.cgi: GPL-ized with permission of A. Rosella.
6086
6087         * geturl.1 (hostname): Moved URL CONVENTIONS to the beginning.
6088
6089         * Makefile.in: Use @VERSION@.
6090
6091         * configure.in: Check version from version.c.
6092
6093         * socks/geturl.cgi: Changed /pub/bin/perl to /usr/bin/perl.
6094
6095         * socks/download.html: Created from download-netscape.html, made
6096         HTML-2.0 compliant.
6097
6098         * recur.c (recursive_retrieve): Set opt.force_dir_hier when
6099         following FTP links from recursions.
6100
6101 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
6102
6103         * url.c (mymkdir): Fixed a bug that prevented mymkdir() to create
6104         absolute directories correctly.
6105
6106         * version.c: Changed version to 1.4b14.
6107
6108 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
6109
6110         * version.c: "Released" 1.4b13.
6111
6112         * url.c (make_backup): New function.
6113
6114         * http.c (http_loop): Make a backup copy of the local file (using
6115         rename(2)) before opening it.
6116
6117         * main.c (main): Added --backups.
6118
6119         * host.c (ftp_getaddress): Bail out on failed mycuserid().
6120         (ftp_getaddress): Check for leading dot on MY_DOMAIN.
6121         (ftp_getaddress): Check for empty, null or (null) domain.
6122
6123         * url.c (get_urls_html): If this_url is NULL, the base must have a
6124         protocol.
6125         (parseurl): Use has_proto.
6126
6127         * retr.c (retrieve_url): Warn when proxy is used with more than 20
6128         retries.
6129
6130         * url.c (mkstruct): Create the directory (calling mymkdir()) only
6131         if it is not already there.
6132         (has_proto): New function.
6133         (get_urls_html): Eliminate the remaining call to findurl -- use
6134         has_proto.
6135
6136         * geturl.1: Ditto.
6137
6138         * main.c: Change -X to -x.
6139
6140         * url.c (url_filename): Simplify creation of filename if
6141         prefix_files is set.
6142         (url_filename): Simplify everything. And I do mean *everything*.
6143         (mkstruct): Add dir_prefix before hostname.
6144         (path_simplify): Fixed a bug that caused writing outside the path
6145         string in case of "." and ".." path strings.
6146
6147 1996-07-06  Hrvoje Niksic  <hniksic@srce.hr>
6148
6149         * init.c: Added --mirror.
6150
6151         * main.c (main): Added -X to force saving of directory hierarchy.
6152
6153         * ftp.c (ftp_retrieve_list): Added recursion depth counter.
6154         (ftp_retrieve_list): Check whether quota is exceeded.
6155
6156         * url.c (get_urls_html): Skip leading blanks for absolute URIs.
6157
6158         * http.c (gethttp): Use referer if present.
6159
6160         * recur.c (recursive_retrieve): Set u->referer before calling
6161         retrieve_url.
6162
6163         * url.c (newurl): Use memset to nullify the struct members.
6164         (freeurl): Free the referer field too.
6165
6166         * url.h: Added referer to urlinfo.
6167
6168         * geturl.1: Updated the manual to document some of the new features.
6169
6170         * utils.c (numdigit): Moved from url.c.
6171
6172         * README: Rewritten.
6173
6174         * config.h.in: Add the support for socks.
6175
6176         * configure.in: Add the support for socks.
6177
6178         * url.c (url_filename): If the dir_prefix is ".", work with just
6179         the file name.
6180         (url_filename): Do not look for .n extensions if timestamping if
6181         turned on.
6182
6183         * retr.c (show_progress): Skip the over-abundant restval data, and
6184         print the rest of it with ',' instead of '.'.
6185
6186 1996-07-05  Hrvoje Niksic  <hniksic@srce.hr>
6187
6188         * retr.c (show_progress): Changed second arg. to long (as it
6189         should be).
6190         (show_progress): Moved to retr.c.
6191         (get_contents): Moved to retr.c.
6192
6193         * version.c: Change version to 1.4b13.
6194
6195 1996-07-05  Hrvoje Lacko <hlacko@fly.cc.fer.hr>
6196
6197         * url.c (in_acclist): Would return after the first suffix.
6198
6199 1996-07-04  Hrvoje Niksic  <hniksic@srce.hr>
6200
6201         * version.c: "Released" 1.4b12.
6202
6203         * url.c (path_simplify): More kludgifications.
6204         (get_urls_html): Use new parameters for htmlfindurl.
6205
6206         * html.c: Removed memorizing "parser states", since the new
6207         organization does not require them.
6208
6209         * init.c (run_geturlrc): Use read_whole_line.
6210
6211         * ftp-unix.c (ftp_parse_ls): Use read_whole_line.
6212
6213         * recur.c (parse_robots): Use read_whole_line.
6214
6215         * utils.c (read_whole_line): New function.
6216
6217         * recur.c (tried_robots): Use add_slist/in_slist, *much* cleaner.
6218
6219         * host.c (ngethostbyname): Call inet_addr just once. Yet to be
6220         tested on OSF and Ultrix.
6221         (add_hlist): New function.
6222         (free_hlist): New function.
6223         (search_host): New function.
6224         (search_address): New function.
6225         (realhost): Use search_host, search_address and add_hlist.
6226         (same_host): Replaced realloc() with strdupdelim(), made
6227         case-insensitive, fixed a memory leak.
6228
6229         * html.c (ftp_index): Fixed tm_min and tm_sec to be tm_hour and
6230         tm_min, like intended.
6231
6232         * version.c: Change user agent information to
6233         Geturl/version.
6234
6235 1996-07-03  Hrvoje Niksic  <hniksic@srce.hr>
6236
6237         * utils.c: Renamed nmalloc.c to utils.c, .h likewise.
6238
6239         * url.c (acceptable): Always accept directories.
6240
6241         * ftp-unix.c (ftp_parse_ls): Support brain-damaged "ls -F"-loving
6242         servers by stripping trailing @ from symlinks and trailing / from
6243         directories.
6244
6245         * ftp.c (ftp_loop): Debugged the "enhanced" heuristics. :-)
6246
6247         * url.c (skip_url): Use toupper instead of UCASE.
6248
6249         * host.c (sufmatch): Made it case-insensitive.
6250
6251         * url.c (match_backwards_or_pattern): Fixed i == -1 to j == -1.
6252         (match_backwards): New function, instead of
6253         match_backwards_or_pattern.
6254
6255         * recur.c (recursive_retrieve): Increased performance by
6256         introducing inl, which reduces number of calls to in_slist to only
6257         one.
6258
6259         * ftp.c (ftp_loop): Enhanced the heuristics that decides which
6260         routine to use.
6261
6262         * main.c (printhelp): Removed the warranty stuff.
6263
6264 1996-07-02  Hrvoje Niksic  <hniksic@srce.hr>
6265
6266         * url.c (add_slist): Simplify.
6267         (match_backwards_or_pattern): New function.
6268         (in_acclist): Use match_backwards_or_pattern.
6269         (matches): Remove.
6270
6271 1996-06-30  Hrvoje Niksic  <hniksic@srce.hr>
6272
6273         * ftp.c (ftp_loop): Call ftp_index on empty file names, if not
6274         recursive.
6275
6276         * html.c (ftp_index): Fixed to work. Beautified the output.
6277
6278         * ftp.c (ftp_retrieve_glob): Another argument to control whether
6279         globbing is to be used.
6280         (ftp_retrieve_list): Compare the time-stamps of local and remote
6281         files to determine whether to download.
6282
6283 1996-06-29  Hrvoje Niksic  <hniksic@srce.hr>
6284
6285         * ftp.c (rel_constr): New function.
6286
6287         * retr.c (retrieve_from_file): Check for text/html before
6288         retrieving recursively.
6289
6290         * main.c (main): Check whether the file is HTML before going into
6291         recursive HTML retrieving.
6292
6293         * ftp.c (ftp_retrieve_list): Manage directories.
6294         (ftp_retrieve_glob): Pass all the file-types to ftp_retrieve_list.
6295         (ftp_1fl_loop): Fixed a bug that caused con->com to be incorrectly
6296         initialized, causing bugchecks in getftp to fail.
6297
6298         * configure.in: Check for symlink.
6299
6300         * ftp.c (ftp_retrieve_list): Added support for symlinks.
6301
6302         * version.c: "Released" 1.4b10.
6303
6304         * atotm.c (atotm): Redeclared as time_t.
6305
6306         * init.c: New variable "timestamping".
6307
6308         * main.c (main): New option 'N'.
6309
6310         * http.c (hgetlocation): Case-insensitive match.
6311         (hgetmodified): New function.
6312         (http_loop): Implement time-stamping.
6313
6314 1996-06-28  Hrvoje Niksic  <hniksic@srce.hr>
6315
6316         * version.c: Changed version to 1.4b10
6317
6318         * atotm.c: New file, from phttpd.
6319
6320         * options.h (struct options): New parameter timestamping.
6321
6322         * version.c: 1.4b9 "released".
6323
6324         * recur.c (recursive_retrieve): Used linked list (ulist) for
6325         faster storing of URLs.
6326
6327         * url.c (get_urls_html): Removed the old kludge with comparing the
6328         outputs of htmlfindurl and findurl.
6329         (get_urls_html): Added better protocol support here.
6330         (create_hash): Removed, as well as add_hash and in_hash.
6331         (addslist): New function.
6332         (in_slist): ditto
6333
6334         * version.c: Released 1.4b8, changed version to b9.
6335
6336 1996-06-27  Hrvoje Niksic  <hniksic@srce.hr>
6337
6338         * ftp.c (freefileinfo): New function.
6339         (delelement): New function.
6340
6341         * everywhere: GPL!
6342
6343         * ftp.c (ftp_loop): Use ccon.
6344         (ftp_retrieve_glob): Likewise.
6345
6346         * ftp.h: Define ccon, to define status of control connection.
6347
6348         * ftp.c (ftp_get_listing): New function.
6349         (ftp_retrieve_more): New function.
6350         (ftp_retrieve_glob): New function.
6351
6352 1996-06-25  Hrvoje Niksic  <hniksic@srce.hr>
6353
6354         * configure.in: Removed the search for cuserid().
6355
6356         * init.c (getmode): Renamed to getperms.
6357
6358 1996-06-24  Hrvoje Niksic  <hniksic@srce.hr>
6359
6360         * version.c: New version.
6361
6362         * main.c (hangup): New function, that handles hangup. Hangup
6363         signal now causes geturl to stop writing on stdout, and to write
6364         to a log file.
6365
6366         * ftp.c (getftp): "Released" 1.4b7.
6367
6368         * html.c (htmlfindurl): Ignore everything inside <head>...</head>.
6369         (ftp_index): Use fileinfo/urlinfo.
6370
6371         * ftp-unix.c (ftp_parse_ls): New function.
6372         (symperms): New function.
6373
6374         * ftp.c (ftp_1fl_loop): New function, to handle 1-file loops.
6375
6376         * retr.c (retrieve_url): Added FTP support.
6377
6378 1996-06-23  Hrvoje Niksic  <hniksic@srce.hr>
6379
6380         * geturl.h: Removed NOTFTP2HTML enum.
6381         Added DO_LOGIN, DO_CWD and DO_LIST. LIST_ONLY is obsolete.
6382
6383         * ftp.c (getftp): Resynched with urlinfo.
6384         (getftp): Removed HMTL-ization of index.html from getftp.
6385
6386         * version.c: 1.4b6 "released".
6387
6388         * options.h (options): New struct, to keep options in.
6389
6390         * http.c (http_loop,gethttp): Synched with proxy.
6391
6392         * retr.c (retrieve_url): Implemented proxy retrieval.
6393
6394         * main.c (main): Use retrieve_from_file.
6395
6396 1996-06-22  Hrvoje Niksic  <hniksic@srce.hr>
6397
6398         * retr.c (retrieve_from_file): New function.
6399
6400         * url.c (parseurl): Modified to return URLOK if all OK. Protocol
6401         can be found in u->proto.
6402
6403         * ftp.c (ftp_response): Fixed to accept multi-line responses as
6404         per RFC 959.
6405
6406         * recr.c (recursive_retrieve): Take newloc from retrieve_url.
6407
6408         * url.c (mymkdir): Removed the file of the same name, if one
6409         exists.
6410         (isfile): New function.
6411         (mkstruct): Fixed the '/' glitches.
6412         (path_simplify): Hacked to treat something/.. correctly.
6413
6414 1996-06-21  Hrvoje Niksic  <hniksic@srce.hr>
6415
6416         * http.c (gethttp): Close the socket after error in headers.
6417         (http_loop): HEOF no longer a fatal header.
6418
6419         * loop.c (retrieve_url): When dt is NULL, do not modify it. This
6420         simplifies the syntax of calling retrieve_url.
6421
6422         * recr.c (recursive_retrieve): Modified to use get_urls_html.
6423
6424         * url.c (get_urls_file): New function.
6425         (get_urls_html): New function.
6426
6427         * recr.c (recursive_retrieve): Patched up to conform to the
6428         standards.
6429
6430         * http.c (gethttp): Synched with the rest...
6431         (gethttp): Treat only CONREFUSED specially, with connection
6432         errors.
6433
6434         * init.c,geturl.1,http.c (http_loop): Removed kill_error.
6435
6436 1996-06-20  Hrvoje Niksic  <hniksic@srce.hr>
6437
6438         * http.c (http_loop): New function.
6439
6440         * loop.c: Removed *lots* of stuff from retrieve_url.
6441
6442         * url.c (parseurl): Changed to work with urlinfo. Integrated
6443         username finding and path parsing.
6444         (newurl): New function.
6445         (freeurl): New function.
6446         (mkstruct): Removed the old bogosities, made it urlinfo-compliant.
6447         (url_filename): Likewise.
6448         (path_simplify): Accept relative paths too.
6449         (opt_url): Made urlinfo-compliant, removed bogosities.
6450         (path_simplify): Expanded to accept relative paths.
6451         (str_url): A replacement for hide_url
6452         (decode_string): Fixed a bug that caused malfunctioning when
6453         encountering an illegal %.. combination.
6454         (opt_url): Removed the argument. Dot-optimizations are now default.
6455
6456         * nmalloc.c (strdupdelim): New function.
6457
6458         * url.h: Added the urlinfo structure
6459
6460 1996-06-19  Hrvoje Niksic  <hniksic@srce.hr>
6461
6462         * url.c (hide_url): Thrown out the protocol assertion. Do not
6463         change the URL if the protocol if not recognized.
6464         (findurl): Put continue instead of break.
6465
6466 1996-06-18  Hrvoje Niksic  <hniksic@srce.hr>
6467
6468         * sample.geturlrc: Changed the defaults to be commented out and
6469         harmless (previous defaults caused pains if copied to
6470         ~/.geturlrc).
6471
6472         * http.c (gethttp): Print the HTTP request in debug mode.
6473
6474         * connect.c (iread): Added EINTR check loop to select-ing
6475         too. EINTR is now correctly handled with select().
6476
6477         * TODO: new file
6478
6479 1996-05-07  Hrvoje Niksic  <hniksic@srce.hr>
6480
6481         * host.c (same_host): Made the function a little bit more
6482         intelligent regarding diversified URL syntaxes.
6483
6484         * url.c (skip_url): Spaces are now skipped after URL:
6485
6486         * Released 1.3.1 with the patch to prevent crashing when sending
6487         NULL to robot* functions and the patch to compile "out of the box"
6488         on AIX.
6489
6490         * recr.c (recursive_retrieve): Added checking whether this_url is
6491         NULL when calling the robot functions.
6492
6493         * ChangeLog: New file.