sjero.net Git - wget/blob - src/ChangeLog

   1 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
   2
   3         * progress.c (progress_handle_sigwinch): Don't call
   4         determine_screen_width() from the signal handler.  Instead, just
   5         set a volatile variable.
   6         (bar_create): Check whether SIGWINCH was received.
   7         (bar_update): Ditto.
   8
   9         * sysdep.h: Define SYSTEM_FNMATCH only if HAVE_FNMATCH_H is true.
  10
  11 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
  12
  13         * utils.c (xsleep): New function.  Uses nanosleep where available,
  14         resuming sleeps interrupted by signals.  Updated callers of sleep
  15         and usleep to use xsleep.
  16
  17 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
  18
  19         * ftp-basic.c (ftp_login): Remove shadowing (and bogus)
  20         declaration of SEED.
  21
  22 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
  23
  24         * log.c (logvprintf): Documented better.  Renamed to
  25         log_vprintf_internal to avoid confusion with the public API
  26         functions logprintf and logputs.
  27
  28 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
  29
  30         * wget.h (N_): Don't parenthesize argument.
  31
  32 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
  33
  34         * host.h (ADDRESS_IPV4_DATA): Don't take the address of in.s_addr
  35         because that doesn't work on machines that define it as bitfield.
  36
  37 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
  38
  39         * connect.c (select_fd): Generalize the third argument into WAIT,
  40         so that the caller can request waiting for both read and write.
  41         Updated callers.
  42
  43 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
  44
  45         * html-url.c (cleanup_html_url): Destroy the hash tables, don't
  46         just call free on them.
  47         (init_interesting): Use hash_table_put instead of string_set_add
  48         because we don't need the strdup that the latter function
  49         performs.
  50
  51         * init.c (cleanup): Don't pass NULL to cookie_jar_delete.
  52
  53         * xmalloc.c (xfree_real): Abort when passed a NULL pointer.
  54         (xfree_debug): Print at the file and line of the offending call to
  55         free.
  56
  57 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
  58
  59         * wget.h: Retired the `boolean' type.  Moved the DEFAULT_LOGFILE
  60         define to log.h.  Moved the INFINITE_RECURSION define to recur.h.
  61
  62         * xmalloc.h: Renamed FREE_MAYBE to xfree_null and moved the
  63         definition from wget.h to xmalloc.h.
  64
  65 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
  66
  67         * html-parse.c (decode_entity): New function; split the decoding
  68         of entities here.
  69         (convert_and_copy): Use it to decode entities.
  70         (decode_entity): Handle the &apos entity.
  71         (decode_entity): Don't decode Latin 1 numeric entities.  Don't
  72         decode &#0.
  73
  74 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
  75
  76         * ftp-opie.c (calculate_skey_response): Use uint32_t instead of
  77         `unsigned long' for the cheksum array.  Document the function.
  78
  79 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
  80
  81         * connect.c (acceptport): Don't call select_fd when timeout is not
  82         requested.
  83
  84 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
  85
  86         * host.c: Removed the ip_default_family global variable.
  87
  88         * host.c (lookup_host): Document the function.  Fixed declaration
  89         of VEC.
  90
  91 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
  92
  93         * various: Use new macros xnew, xnew0, xnew_array, and xnew0_array
  94         in various places.
  95
  96 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
  97
  98         * wget.h: Move declarations of malloc and logging code to
  99         xmalloc.h and log.h respectively to unclutter this file.
 100         (STRDUP_ALLOCA): Made it side-effect free.
 101
 102         * xmalloc.h: New files.  Define macros xnew, xnew0, xnew_array,
 103         and xnew0_array.
 104
 105         * xmalloc.c: New file.  Move the xmalloc routines here.
 106
 107 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
 108
 109         * connect.c (sockaddr_set_data): Remove the broken code that
 110         checked for NULL address.
 111
 112 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
 113
 114         * host.c (address_list_from_single): Removed.
 115         (address_list_from_ipv4_addresses): Renamed from
 116         address_list_from_vector.
 117
 118 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
 119
 120         * sysdep.h (CLOSE): Don't call close on file descriptors less than
 121         0, i.e. on uncreated sockets.
 122
 123         * connect.c (resolve_bind_address): Work on struct sockaddr
 124         directly.
 125         (connect_to_host): Replacement for connect_to_many.  Resolve HOST
 126         and connect to any of its addresses.  If we can't connect and the
 127         host name lookup was cached, try to resolve it again.  This should
 128         fix problems with hosts behind dynamic DNS.  Updated all callers.
 129         (connect_to_ip): Replacement for connect_to_one.  Removed SILENT;
 130         added the argument PRINT instead.  Updated all callers.
 131         (set_connection_host_name): Removed.
 132
 133         * host.c (address_list_address_at): New function instead of
 134         address_list_copy_one. It returns a pointer to ip_address *, so
 135         it's not necessary to copy the data.
 136         (address_list_cached_p): New function.
 137         (forget_host_lookup): Ditto.
 138
 139         * connect.c: Got rid of the MSOCK global variable.  Made bindport
 140         return the local socket it creates.  Added a new argument to
 141         acceptport, the socket to call accept on.  Updated callers.
 142         (closeport): Removed.
 143
 144         * connect.c: Moved the sockaddr code from host.c to this file,
 145         because most of that stuff is used for connecting, and has nothing
 146         to do with host names anyway.
 147         (sockaddr_set_data, sockaddr_get_data): New functions, replace the
 148         old sockaddr_set_address, sockaddr_set_port, sockaddr_get_address,
 149         and sockaddr_get_port.
 150
 151 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
 152
 153         * sysdep.h: Use `S >= 8' rather than `S == 8' when looking for
 154         large integers.
 155
 156 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
 157
 158         * url.c (append_uri_pathel): New argument ESCAPED_P that says
 159         whether [B, E) is to be treated as URL-escaped or not.  If
 160         ESCAPED_P is false, don't unescape the region.
 161         (url_file_name): u->file is not URL-escaped.
 162
 163 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
 164
 165         * retr.c (retrieve_from_file): Use retrieve_tree for
 166         page-requisites.
 167
 168         * main.c (main): Don't define opt.recursive when -p is used.
 169         Instead, make sure that recursion is used for HTTP in that case.
 170
 171 2003-10-29  Hrvoje Niksic  <hniksic@xemacs.org>
 172
 173         * host.h: Defined accessors for elements of ip_address.  Updated
 174         all callers.
 175         (address_list_match_all): Use memcmp in the non-IPv6 case.
 176
 177         * wget.h (CONNECT_ERROR): Don't retry connecting if connect()
 178         returned EAFNOSUPPORT.
 179
 180 2003-10-27  Mauro Tortonesi <mauro@deepspace6.net>
 181
 182         * connect.h: changed bindport prototype and added the related
 183         BIND_ON_IPV4_ONLY and BIND_ON_IPV6_ONLY flags.
 184
 185         * connect.c: changed bindport and resolve_bind_address to allow
 186         protocol-version specific DNS resolution. modified conaddr,
 187         acceptport and connect_to_one to make use of struct
 188         sockaddr_storage and of the new ip_address structure.
 189
 190         * ftp-basic.c: added LPRT/LPSV (RFC1639) support, refactored
 191         PORT/PASV (RFC959) and EPRT/EPSV (RFC2428) support code.
 192
 193         * ftp.c: added the ftp_do_port and ftp_do_pasv functions to
 194         handle FTP over IPv6.
 195
 196         * ftp.h: changed prototype of ftp_epsv and added prototypes for
 197         ftp_lpsv, ftp_lprt and ftp_eprt.
 198
 199         * host.c: renamed the
 200         wget_sockaddr_set_address and wget_sockaddr_get_addr, and
 201         wget_sockaddr_{s,g}et_port couples to sockaddr_{s,g}et_address and
 202         sockaddr_{g,s}et_port respectively.  changed
 203         address_list_match_all, address_list_from_addrinfo sockaddr_len,
 204         pretty_print_address, lookup_host, sockaddr_{s,g}et_address and
 205         sockaddr_{g,s}et_port to make use of struct sockaddr_storage and
 206         of the new ip_address structure.  removed map_ipv4_to_ip and
 207         map_ip_to_ipv4.
 208
 209         * host.h: redefined structure ip_address and removed structure
 210         wget_sockaddr.
 211
 212 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
 213
 214         * sysdep.h: Include inttypes.h where available.
 215
 216         * host.c: Switch from u_int32_t to uint32_t.
 217
 218 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
 219
 220         * netrc.c (parse_netrc): Reset the QUOTE flag after the closing
 221         quote.
 222
 223 2003-10-25  Hrvoje Niksic  <hniksic@xemacs.org>
 224
 225         * url.c (is_valid_ipv6_address): Reformat to GNU coding style.
 226         Use enums for NS_IN* constants.  Use ISXDIGIT.
 227
 228         * convert.c (construct_relative): Document better how the function
 229         works.
 230
 231 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
 232
 233         * config.h.in: Deploy preprocessor magic to avoid Ultrix's
 234         <netdb.h> include <bitypes.h> which defines its own u_int32_t.
 235         Reported by Bernhard Simon.
 236
 237 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
 238
 239         * version.c: Bump version.
 240
 241 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
 242
 243         * url.c: Ditto.
 244
 245         * html-parse.c (advance_declaration): Don't use trailing comma in
 246         enum because older compilers don't support it.
 247
 248         * utils.c: Don't redefine HAVE_SIGSETJMP.
 249
 250 2003-10-16  Hrvoje Niksic  <hniksic@xemacs.org>
 251
 252         * convert.c (construct_relative): Don't handle absolute files
 253         specially -- for example, -P/tmp/foo shouldn't imply that
 254         converted files must refer to "/tmp/foo/..."!
 255
 256 2003-10-15  Hrvoje Niksic  <hniksic@xemacs.org>
 257
 258         * http.c: Consider status 307 a valid redirect.
 259
 260 2003-10-15  Philip Stadermann  <philip.stadermann@credativ.de>
 261
 262         * ftp.c (ftp_retrieve_glob): Correctly loop through the list whose
 263         elements might have been deleted.
 264
 265 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
 266
 267         * html-url.c (tag_handle_meta): Set the Refresh link to expect
 268         HTML.
 269         (append_one_url): Renamed to append_url.
 270
 271 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
 272
 273         * sysdep.h: Only define u_int32_t.
 274
 275 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
 276
 277         * utils.c (large_int_to_string): Use snprintf() to print the
 278         number.  This will work even on systems where libc doesn't
 279         understand %lld, but the compiler does, because it will use our
 280         snprintf replacement.
 281
 282         * init.c (parse_bytes_helper): New function.
 283         (cmd_bytes): Use it to parse bytes, but cast the result to long.
 284         (cmd_bytes_large): Ditto, but store the result to LARGE_INT.  Used
 285         for --quota so that --quota=10G works even on machines without
 286         long long.
 287
 288         * options.h (struct options): Declare quota as LARGE_INT.
 289
 290         * retr.c (downloaded_exceeds_quota): Removed.
 291         (downloaded_increase): Ditto.
 292         (total_downloaded_bytes): New variable, replaces opt.downloaded,
 293         which was the wrong place for it anyway.  Updated callers of
 294         downloaded_exceeds_quota and downloaded_increase to check this
 295         variable directly.
 296
 297         * sysdep.h: Get rid of VERY_LONG_TYPE.  Use LARGE_INT for the same
 298         purpose, defined as `long', `long long' or `double', depending on
 299         size of long and whether long long is available.
 300
 301 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
 302
 303         * sysdep.h: Also check size of short for int32_t.
 304
 305 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
 306
 307         * host.c (lookup_host): Use u_int32_t to store the result of
 308         inet_addr().  That removes the need for offset fiddling, caring
 309         about endian-ness, etc.
 310
 311         * sysdep.h: Define int32_t and u_int32_t if not available.
 312
 313 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
 314
 315         * ftp-basic.c (ftp_epsv): Use socklen_t * as the third argument to
 316         getpeername.
 317
 318         * config.h.in: Define socklen_t stub.
 319
 320         * host.c (sockaddr_len): Return socklen_t.
 321
 322         * connect.c (conaddr): Use socklen_t as the third argument to
 323         accept, getsockname, and connect.
 324
 325 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
 326
 327         * recur.c (retrieve_tree): Don't descend into documents that are
 328         not expected to contain HTML, regardless of their content-type.
 329
 330         * html-url.c (tag_url_attributes): Record which attributes are
 331         supposed to yield HTML links that can be followed.
 332         (tag_find_urls): Propagate that information to the caller through
 333         struct urlpos.
 334
 335 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
 336
 337         * hash.c (find_mapping): Return the next available mapping when
 338         the key is not found, not NULL.
 339         (hash_table_put): Use find_mapping to find the storage for the new
 340         data.
 341         (hash_table_put): Grow the table before exceeding maximum
 342         fullness, not afterwards.
 343
 344 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
 345
 346         * hash.c (hash_table_new): Slightly change the meaning of the
 347         first parameter.  Instead of being the minimum initial size, it is
 348         now the minimum number of items that the hash table can take
 349         without needing to resize.
 350
 351 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
 352
 353         * html-url.c (init_interesting): Initialize interesting_tags and
 354         interesting_attributes as hash tables.  This simplifies the code
 355         immensely because hash tables handle allocation and remove
 356         duplicates automatically.
 357         (find_tag): Removed.
 358         (collect_tags_mapper): Instead of calling find_tag, simply get the
 359         entry from interesting_tags hash table, which is both simpler and
 360         faster.
 361
 362 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
 363
 364         * hash.c (hash_table_get): Declare hash-table argument as const.
 365         (find_mapping): Ditto.
 366         (hash_table_get_pair): Ditto.
 367         (hash_table_contains): Ditto.
 368         (hash_table_count): Ditto.
 369
 370 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
 371
 372         * html-url.c (get_urls_html): Parse the appropriate flags to
 373         html-parse.c.
 374
 375         * html-parse.c (map_html_tags): Accept FLAGS from the caller
 376         instead of examining OPT.
 377
 378 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
 379
 380         * html-url.c (find_tag): Switch to binary search.
 381
 382 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
 383
 384         * main.c (print_help): Fix typo; stured -> stored.
 385
 386 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
 387
 388         * getopt.c: Add definitions of getopt_long and getopt_long_only.
 389
 390 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
 391
 392         * config.h.in: Renamed DEBUG to ENABLE_DEBUG.  ENABLE_DEBUG is, I
 393         think, a better name, because it implies that debugging output is
 394         merely possible, not "on by default", as might be construed from
 395         just DEBUG.
 396
 397 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
 398
 399         * ftp.c (has_insecure_name_p): Define it here.
 400
 401         * utils.c (has_wildcards_p): Define it here.
 402
 403         * sysdep.h: Declare fnmatch-related macros here, if not using
 404         system fnmatch().  Update .c files to not declare fnmatch.h
 405         directly.
 406
 407         * cmpt.c (fnmatch): Moved here.  Use it only under non-GNU libc.
 408
 409 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
 410
 411         * getopt.c: Newer version, imported from Free libit.
 412
 413 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
 414
 415         * cookies.c (struct cookie): Remove unused backpointer to cookie
 416         jar.
 417
 418 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
 419
 420         * cmpt.c (memmove): Comment out, since it's no longer used.
 421
 422         * cookies.c (cookie_jar_generate_cookie_header): Allocate room for
 423         chains in one pass.
 424         (find_chains_of_host): Assume that the caller has allocated DEST
 425         to be sufficiently large to take all the data.
 426         (eliminate_dups): Run through the array and eliminate dups on the
 427         fly instead of using memmove.
 428         (cookie_jar_process_set_cookie): Free cookie->domain before
 429         re-setting it.
 430
 431 2003-10-05  Gisle Vanem  <giva@bgnett.no>
 432
 433         * mswindows.c (set_sleep_mode): Fix type of
 434         _SetThreadExecutionState.
 435
 436 2003-10-05  Hrvoje Niksic  <hniksic@xemacs.org>
 437
 438         * utils.c (file_size): Return -1 if fopen() returns NULL.  Prior
 439         to this patch, wget --post-file=nosuchfile dumped core.
 440
 441 2003-10-04  Gisle Vanem  <giva@bgnett.no>
 442
 443         * mswindows.c (run_with_timeout): Use WaitForSingleObject to wait
 444         for thread termination.
 445
 446 2003-10-04  Hrvoje Niksic  <hniksic@xemacs.org>
 447
 448         * log.c: Use `...' in function definitions; ansi2knr will convert
 449         them to va_dcl.  This allowed removal of the ugly VA_START_1 and
 450         VA_START_2 macros.
 451
 452 2003-10-03  Gisle Vanem  <giva@bgnett.no>
 453
 454         * connect.c: And don't include them here.
 455
 456         * mswindows.h: Include winsock headers here.
 457
 458 2003-10-03  Hrvoje Niksic  <hniksic@xemacs.org>
 459
 460         * html-parse.c (convert_and_copy): Move variable declarations
 461         before statements.
 462
 463 2003-10-02  Gisle Vanem  <giva@bgnett.no>
 464
 465         * mswindows.c (run_with_timeout): For Windows: Run the 'fun' in a
 466         thread via a helper function. Continually query the thread's
 467         exit-code until finished or timed out.
 468
 469 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
 470
 471         * wget.h (XMALLOC_ARRAY): Removed.
 472         (ALLOCA_ARRAY): Ditto.
 473
 474         * html-parse.c: Renamed alloca_p to resized.
 475         (GROW_ARRAY): Renamed DO_REALLOC_FROM_ALLOCA to GROW_ARRAY and
 476         returned it to html-parse.c, since nothing else was using it.
 477
 478 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
 479
 480         * retr.c (retrieve_url): Initialize DUMMY storage for DT.  Caught
 481         by valgrind.
 482
 483 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
 484
 485         * html-parse.c (convert_and_copy): Handle numeric entities in
 486         hexadecimal, &#xHH.
 487         (convert_and_copy): Copy the contents directly to the pool without
 488         a stack-allocated intermediary.
 489
 490 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
 491
 492         * utils.c (alarm_set): New function; use either setitimer or alarm
 493         to set up the alarm.
 494         (alarm_cancel): New function; cancel the alarm set up by
 495         alarm_set.
 496         (run_with_timeout): Use them.
 497
 498 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
 499
 500         * url.c (url_parse): Don't leak memory when a reencoded URL turns
 501         out to be invalid.
 502
 503         * url.c (parse_errors): Mark error messages for translation.
 504         (url_error): Translate error messages returned to the caller.
 505
 506 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
 507
 508         * ftp.c (ftp_loop_internal): Initialize TMRATE to NULL to shut up
 509         the compiler.
 510
 511 2003-09-26  Gisle Vanem  <giva@bgnett.no>
 512
 513         * src/mswindows.c: Added ws_percenttitle() showing progress in the
 514         window titlebar. Called from retr.c. Secured ws_mypath().
 515
 516         * windows/config.h.ms: alloca() prototype not needed.  Removed
 517         "#undef ENABLE_NLS"; should be in Makefile IMHO. Moved
 518         WGET_USE_STDARG from mswindows.h to config.ms.h because of #ifdef
 519         in log.c. (MSVC's vararg.h and stdarg.h are incompatible).
 520
 521 2003-09-29  Aaron Hawley <Aaron.Hawley@uvm.edu>
 522
 523         * ftp.c (getftp): --spider option should now work with FTP
 524         downloads.
 525         (ftp_loop_internal): quiet reports and calculations of downloads
 526         when --spider option set, nor try deleting when --delete-after
 527         also set.
 528         (ftp_loop): --spider will skip HTML-ification of .listing file.
 529
 530 2003-09-26  Gisle Vanem  <giva@bgnett.no>
 531
 532         * mswindows.c (read_registry): Removed.
 533         (set_sleep_mode): New function.
 534         (windows_main_junk): Call it.
 535
 536 2003-09-26  Gisle Vanem  <giva@bgnett.no>
 537
 538         * mswindows.c (read_registry): Fix invocation of registry
 539         functions.
 540
 541         * mswindows.c (read_registry): Condition definitions of sleep and
 542         usleep with not HAVE_SLEEP and HAVE_USLEEP respectively.  Define
 543         HAVE_SLEEP and HAVE_USLEEP under __DMC__.
 544
 545 2003-09-24  Hrvoje Niksic  <hniksic@xemacs.org>
 546
 547         * url.c (url_escape_1): Revert unintentional change to lowercase
 548         xdigit escapes.
 549         (url_escape_dir): Document that this function depends on the
 550         output of url_escape_1.
 551
 552 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
 553
 554         * progress.c (create_image): Print the current ETA if we're done
 555         with the download.
 556         (create_image): Change '-' display char to '+' in the progress bar.
 557
 558         * Makefile.in (clean): Remove .libs.
 559
 560 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
 561
 562         * cookies.c (struct cookie): New flag domain_exact.
 563         (update_cookie_field): Skip leading dot in domain.
 564         (find_matching_chains): Match numeric addresses exactly; don't
 565         needlessly copy HOST to the stack.
 566         (matching_cookie): Added argument HOST.  If cookie->domain_exact
 567         is set, check that HOST is equal to cookie->domain.
 568         (cookie_jar_load): Only use TAB as delimiter.  Document the
 569         meaning of DOMAIN-FLAG.  Skip leading dot in domain.
 570         (cookie_jar_load): Don't ignore DOMAIN-FLAG -- instead, set
 571         domain_exact to true if DOMAIN-FLAG is false.
 572         (save_cookies_mapper): If domain_exact is false, prepend the
 573         domain with dot, like Mozilla does.
 574
 575 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
 576
 577         * progress.c (create_image): Print the initial part of the
 578         download with '-' characters, analogous to how dot progress prints
 579         the initial part with ','.
 580
 581         * hash.c (ptrhash): New function.
 582         (ptrcmp): Ditto.
 583         (hash_table_new): Default to identity hash table.
 584
 585 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
 586
 587         * safe-ctype.h (_sch_test): The cast of BIT to unsigned char was
 588         broken -- _sch_istable bitmasks are 16-bit, not 8-bit!  Cast BIT
 589         to unsigned short instead.
 590
 591 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
 592
 593         * url.c (path_simplify): Instead of calls to memmove, handle "./"
 594         and "../" by advancing pointers.
 595
 596 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
 597
 598         * retr.c (getproxy): Moved from url.c.
 599
 600         * convert.c: Split off link conversion from url.c into separate
 601         file.  Also included the book-keeping stuff from recur.c.
 602
 603 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
 604
 605         * init.c: Improved documentation of functions.
 606         (cmd_boolean): Attempt to make code that tries to avoid calling
 607         strcmp for "speed" a bit more readable.
 608
 609         * init.c (simple_atof): Report error on encountering non-digit,
 610         non-"." character.
 611         (simple_atoi): Replacement for myatoi(), calling interface
 612         compatible with simple_atof.  Updated myatoi's callers.
 613
 614 2003-09-21  Bertrand Demiddelaer  <bert@b3rt.org>
 615
 616         * url.c (path_simplify): Would read two bytes past the end of the
 617         string in the "./" case.
 618
 619 2003-09-21  Matthew J. Mellon  <mellon@tymenet.com>
 620
 621         * http.c (gethttp): Recognize content-type "application/xhtml+xml"
 622         as what Wget considers "text/html".
 623
 624 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
 625
 626         * connect.c (connect_with_timeout): Made timeout type double.
 627
 628         * options.h (struct options): New members read_timeout,
 629         dns_timeout, and connect_timeout.
 630         Use them.
 631
 632 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
 633
 634         * init.c (simple_atof): New function.
 635         (cmd_time): Use it.
 636         (cmd_bytes): Accept things like "1.5k" and such.  Use simple_atof
 637         to parse decimals.
 638
 639         * retr.c (limit_bandwidth): Adjust each sleep by the error of the
 640         previous one.
 641
 642 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
 643
 644         * main.c (main): Use setoptval() for setting the options.  Use
 645         run_command for `-e'.
 646
 647         * init.c (parse_line): Rewritten to return COMIND right away.
 648         Changed linkage to static.
 649         (run_wgetrc): Use the available comind when calling setval, so it
 650         doesn't have to be computed twice.
 651         (setval_internal): New function, runs the command's action without
 652         any error checking.
 653         (setoptval): New function, does what setval used to do, but exits
 654         in case of error.
 655         (run_command): New function.
 656
 657 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
 658
 659         * connect.c (select_fd): Change MAXTIME's type to double.  Handle
 660         its decimal part.
 661
 662         * retr.c (sleep_between_retrievals): In the random-wait case, use
 663         random_float() to wait between 0 and 2*opt.wait seconds.
 664
 665         * utils.c (run_with_timeout): Accept `double' timeouts.  Correctly
 666         handle timeout values in (0, 1) range.
 667         (random_float): New function.
 668
 669         * options.h (struct options): Change the types of wait, waitretry,
 670         and timeout to double.
 671
 672         * init.c (cmd_time): Accept floating point time.
 673
 674 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
 675
 676         * retr.c (get_contents): Cosmetic fixes.
 677
 678 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
 679
 680         * url.c (uri_merge): Get rid of uri_merge_1.
 681         (uri_merge): Merge "foo//", "bar" as "foo//bar", not "foo///bar",
 682         i.e. don't add an extra slash merely because BASE ends with two
 683         slashes.
 684         (parse_credentials): Renamed from parse_uname.  Rewrittern in
 685         standard [beg, end) calling style.
 686         (url_skip_credentials): Renamed from url_skip_uname.  Made static.
 687         (url_skip_credentials): Include # and ; as terminators.  Old code
 688         would mistakenly consider "http://foo.com#hniksic@iskon.hr" to
 689         contain a username.
 690         (url_skip_scheme): Removed because it was unused.
 691         (url_has_scheme): Require "scheme" to be at least one char long.
 692
 693 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
 694
 695         * url.c (url_file_name): Expect NULL dir_prefix.
 696
 697         * init.c (cmd_file): Use a macro to prevent multiple #ifdef
 698         WINDOWS.
 699         (defaults): Set dir_prefix to NULL by default.
 700
 701 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
 702
 703         * safe-ctype.h (_sch_test): Cast BIT to unsigned char, like latest
 704         gcc does.
 705
 706 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
 707
 708         * wget.h (BOUNDED_TO_ALLOCA): Evaluate PLACE only once.
 709         (ARRAY_SIZE): Renamed to countof.  All callers updated.
 710
 711 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
 712
 713         * main.c (main): New option --strict-comments.
 714
 715         * html-parse.c (find_comment_end): New function: simple BM search
 716         for "-->".
 717         (map_html_tags): Use it if looking at a comment and not in strict
 718         comments mode.
 719
 720 2003-09-17  Aurelien Marchand  <artaxerxes@users.sf.net>
 721
 722         * ftp.h: Added OS400 system in enum
 723         * ftp-basic.c: recognize OS400 systems
 724         * ftp.c: don't prepend the CWD if talking to OS400, since it
 725         breaks the change in library
 726
 727 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
 728
 729         * retr.c (get_contents): Pass the correct argument to ssl_iread.
 730
 731 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
 732
 733         * safe-ctype.h: Don't #define ctype.h macros to errors because
 734         that loses when someone #include's ctype.h after safe-ctype.h.
 735
 736 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
 737
 738         * url.c: Undef U, W, C after use.
 739
 740 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
 741
 742         * init.c (cmd_spec_restrict_file_names): Allow the OS setting to
 743         be augmented by ",nocontrol" which means don't escape the control
 744         characters, but otherwise keep OS settings.
 745
 746         * url.c (file_unsafe_char): Deleted.
 747         (append_uri_pathel): Query filechr_table directly.
 748         (filechr_table): Separated Unix, Windows, and control-unsafe
 749         characters.
 750
 751 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
 752
 753         * url.c (url_escape_1): New function.
 754         (url_escape): Use it.
 755         (sync_path): Handle pathological cases where u->file and u->dir
 756         contain really strange characters.
 757         (ENCODE): Deleted.
 758         (REENCODE): Deleted.
 759
 760 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
 761
 762         * url.c (url_file_name): Don't reallocate FNAME if the file
 763         doesn't exist, as is usually the case.
 764
 765         * utils.c (unique_name): New flag allow_passthrough.
 766
 767 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
 768
 769         * utils.c (wtimer_sys_diff): Convert the time difference to signed
 770         __int64, then to double.  This works around MS VC++ 6 which can't
 771         convert unsigned __int64 to double directly.
 772
 773 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
 774
 775         * Makefile.in (clean): Also remove the core.<number> files
 776         produced by recent Linux systems.
 777
 778 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
 779
 780         * http.c (post_file): Don't pad the file if it's not large
 781         enough.  Bail out instead.
 782
 783 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
 784
 785         * retr.c (get_contents): Reduce the buffer size to the amount of
 786         data that may pass through for one second.  This prevents long
 787         sleeps when limiting bandwidth.
 788
 789         * connect.c (connect_to_one): Reduce the socket's RCVBUF when
 790         bandwidth limitation to small values is requested.
 791
 792 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
 793
 794         * progress.c (update_speed_ring): Moved the speed ring update to a
 795         separate function and documented it better.
 796
 797         * progress.c: Use `double' for most timers to support granularity
 798         smaller than 1ms.
 799
 800 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
 801
 802         * wget.h (XDIGIT_TO_XCHAR): Implement as index into a literal
 803         string.
 804         (XDIGIT_TO_xchar): Ditto.
 805
 806 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
 807
 808         * utils.c: Change the type of timer-related functions from long to
 809         double, for better precision.  On machines supporting gettimeofday
 810         the timers now work with granularity of less than one millisecond.
 811
 812 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
 813
 814         * cookies.c (parse_set_cookies): Fixed the parser to handle more
 815         edge conditions.
 816         (test_cookies): New function, contains a test suite for
 817         parse_set_cookies.
 818
 819 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
 820
 821         * url.c (strpbrk_or_eos): Implement as a macro under Gcc.
 822
 823 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
 824
 825         * cookies.c (parse_set_cookies): Allow trailing space in
 826         set-cookies header.  Also, allow any amount of whitespace, not
 827         only one character.  Allow empty set-cookies header without
 828         spewing an error.
 829
 830 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
 831
 832         * url.c (append_uri_pathel): Use opt.restrict_file_names when
 833         calling file_unsafe_char.
 834
 835         * init.c: New command restrict_file_names.
 836
 837         * main.c (main): New option --restrict-file-names[=windows,unix].
 838
 839         * url.c (url_file_name): Renamed from url_filename.
 840         (url_file_name): Add directory and hostdir prefix here, not in
 841         mkstruct.
 842         (append_dir_structure): New function, does part of the work that
 843         used to be in mkstruct.  Iterates over path elements in u->path,
 844         calling append_uri_pathel on each one to append it to the file
 845         name.
 846         (append_uri_pathel): URL-unescape a path element and reencode it
 847         with a different set of rules, more appropriate for handling of
 848         files.
 849         (file_unsafe_char): New function, uses a lookup table to decide
 850         whether a character should be escaped for use in file name.
 851         (append_string): New utility function.
 852         (append_char): Ditto.
 853         (file_unsafe_char): New argument restrict_for_windows, decide
 854         whether Windows file names should be escaped in run-time.
 855
 856         * connect.c: Include <stdlib.h> to get prototype for abort().
 857
 858 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
 859
 860         * utils.c (wtimer_sys_set): Extracted the code that sets the
 861         current time here.
 862         (wtimer_reset): Call it.
 863         (wtimer_sys_diff): Extracted the code that calculates the
 864         difference between two system times here.
 865         (wtimer_elapsed): Call it.
 866         (wtimer_elapsed): Don't return a value smaller than the previous
 867         one, which could previously happen when system time is set back.
 868         Instead, reset start time to current time and note the elapsed
 869         offset for future calculations.  The returned times are now
 870         guaranteed to be monotonically nondecreasing.
 871
 872 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
 873
 874         * host.c (lookup_host): Print the result of the DNS lookup.
 875
 876 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
 877
 878         * init.c (cmd_boolean): Accept yes/no along with on/off.
 879         (cmd_lockable_boolean): Ditto.
 880
 881 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
 882
 883         * init.c: New command dns_cache.
 884
 885         * main.c (main): New option --dns-cache[=off].
 886
 887 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
 888
 889         * config.h.in: Initialize HAVE_GETADDRINFO and ENABLE_IPV6.
 890
 891         * all: Use #ifdef ENABLE_IPV6 instead of the older INET6.  Use
 892         HAVE_GETADDRINFO for getaddrinfo-related stuff.
 893
 894 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
 895
 896         * url.c (url_parse): Return an error if the URL contains a [...]
 897         IPv6 numeric address and we don't support IPv6.
 898
 899 2003-09-05  Hrvoje Niksic  <hniksic@xemacs.org>
 900
 901         * url.c (is_valid_ipv6_address): Modified to not require
 902         zero-terminated strings.
 903         (is_valid_ipv4_address): Ditto.
 904
 905 2003-09-05  Mauro Tortonesi <mauro@deepspace6.net>
 906
 907         src/url.c: added RFC 2732 compliance for URL parsing. The
 908         functions is_*_address valid are a modified version of
 909         glibc 2.3.2 inet_pton's code.
 910
 911 2003-09-03  Ahmon Dancy  <dancy@dancysoft.com>
 912
 913         * main.c init.c options.h: Added --retry-connrefused option so
 914         that Connection Refused failures are treated as non-fatal (when
 915         trying to retrieve from busy servers).
 916
 917         * wget.h: New CONNECT_ERROR macro for encapsulating this
 918         modification.
 919
 920         * ftp.c http.c : Use CONNECT_ERROR macro in places where
 921         ECONNREFUSED was checked.
 922
 923 2003-01-11  Ian Abbott  <abbotti@mev.co.uk>
 924
 925         * ftp.c (ftp_retrieve_glob): Reject insecure filenames as determined
 926         by calling new function has_insecure_name_p.  This is based on a
 927         patch by Red Hat.
 928
 929         * fnmatch.c (has_insecure_name_p): New function: returns non-zero
 930         if filename starts with `/' or contains `../' and is therefore
 931         considered insecure.
 932
 933         * fnmatch.h: Declare has_insecure_name_p().
 934
 935 2002-08-03  Hrvoje Niksic  <hniksic@xemacs.org>
 936
 937         * init.c (cmd_file): Allocate RESULT correctly.
 938
 939 2002-07-24  Hrvoje Niksic  <hniksic@xemacs.org>
 940
 941         * recur.c (retrieve_tree): Check whether downloaded_html_set is
 942         non-NULL before using it.
 943
 944 2002-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
 945
 946         * html-parse.c (NAME_CHAR_P): Allow almost any character here.
 947
 948 2002-05-24  Hrvoje Niksic  <hniksic@arsdigita.com>
 949
 950         * progress.c (bar_set_params): Fall back to dot progress if the
 951         terminal type is "emacs".
 952
 953 2002-05-20  Hrvoje Niksic  <hniksic@arsdigita.com>
 954
 955         * log.c: Don't #undef WGET_USE_STDARG.
 956
 957 2002-05-16  Hrvoje Niksic  <hniksic@arsdigita.com>
 958
 959         * hash.c (prime_size): Store the offset of the prime number in the
 960         prime table.  When searching, start with the given offset.
 961         (hash_table_new): Pass the pointer to ht->prime_offset to
 962         prime_size.
 963         (grow_hash_table): Ditto.
 964         (prime_size): Make 13 the first prime to make empty hash tables
 965         slightly smaller.
 966
 967 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
 968
 969         * recur.c (download_child_p): Minor optimization to avoid an
 970         unnecessary additional call to schemes_are_similar_p function.
 971
 972 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
 973
 974         * url.c (schemes_are_similar_p): New function to test enumerated
 975         scheme codes for similarity.
 976
 977         * url.h: Declare it.
 978
 979         * recur.c (download_child_p): Use it to compare schemes.  This
 980         also fixes a bug that allows hosts to be spanned (without the
 981         -H option) when the parent scheme is https and the child's is
 982         http or vice versa.
 983
 984 2002-05-14  Bill Richardson  <bill@riverstonenet.com>
 985
 986         * ftp.c (getftp): Don't ftruncate stdout.
 987
 988         * http.c (gethttp): Don't ftruncate stdout.
 989
 990 2002-05-09  Ian Abbott  <abbotti@mev.co.uk>
 991
 992         * cmpt.c (strptime_internal): Synched with glibc-2.1.3.
 993         (get_number): Ditto.
 994         (get_alt_number): Ditto.
 995         (__isleap): New function-like macro used by strptime.
 996         (day_of_the_week): New function used by strptime.
 997         (day_of_the_year): Ditto.
 998         (__mon_yday): Now shared by mktime and strptime implementations.
 999
1000 2002-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
1001
1002         * cookies.c (check_domain_match): Use match_tail in case
1003         insensitive mode.
1004
1005         * utils.c (match_tail): Allow the caller to specify case
1006         insensitive mode.
1007
1008         * cookies.c (store_cookie): When expiry_time is 0, print it as
1009         undefined, not indefinite.
1010
1011 2002-05-07  Ian Abbott  <abbotti@mev.co.uk>
1012
1013         * cookies.c (cookie_jar_process_set_cookie): Do not store
1014         discarded cookie.
1015
1016 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
1017
1018         * cookies.c (check_domain_match): Allow cookies to be set for
1019         subdomains of unknown top-level domains under some circumstances.
1020
1021 2002-04-21  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
1022
1023         * gen_ssl.c:
1024         - allow checking of server cert
1025         - allow defining client cert type
1026         - allow limit of ssl protocol
1027         - check more return values
1028         - added debug message on break
1029
1030 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
1031
1032         * recur.c (download_child_p): Revert order of items in check
1033         number 6 for clarity.
1034
1035 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
1036
1037         * init.c: Ditto.
1038
1039         * main.c: Ditto.
1040
1041         * http.c: Use the new interface.
1042
1043         * cookies.c: Provide an OO-style "cookie jar" interface to enable
1044         separate cookie jars.
1045
1046         * http.c (http_atotm): Declare argument as const.
1047
1048 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
1049
1050         * cookies.c (cookie_new): Default to PORT_ANY.
1051         (find_cookie_chain_exact): Only search by DOMAIN.
1052         (find_matching_cookie): Also check that PORT matches.
1053         (store_cookie): Only match the domain.
1054         (set_cookie_header_cb): When a cookie "fakes" a domain, assume it
1055         is valid for that host rather than discarding it completely.
1056         (find_matching_chains): Don't search by PORT.
1057         (matching_cookie): Also match PORT.
1058         (load_cookies): Set the port if specified, otherwise leave it as
1059         ANY.
1060         (save_cookies_mapper): Save the port if specified, otherwise leave
1061         it empty.
1062
1063 2002-04-19  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
1064
1065         * init.c: The option `egdfile' was not in sort order.
1066
1067 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1068
1069         * ftp.c (getftp): Treat directories that begin with <letter>: as
1070         absolute.
1071         (getftp): Strip trailing slashes from con->id before merging it
1072         with TARGET.
1073
1074 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1075
1076         * http.c (gethttp): If Content-Type is not given, assume
1077         text/html.
1078
1079 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
1080
1081         * recur.c (download_child_p): Don't ignore rejection of HTML
1082         documents that are themselves leaves of recursion.
1083
1084 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
1085
1086         Makefile.in: Updated several dependencies for object files to take
1087         account of nested include files.
1088
1089 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
1090
1091         Makefile.in: The target `connect$o' (connect.o) now depends on
1092         `utils.h'
1093
1094 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
1095
1096         * host.c (SET_H_ERRNO): New function-like macro to set `h_errno'.
1097         (gethostbyname_with_timeout): Use it.
1098
1099         * utils.c: Don't define `SETJMP()', `run_with_timeout_env' or
1100         `abort_run_with_timeout()' when `USE_SIGNAL_TIMEOUT' is undefined.
1101
1102 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
1103
1104         * host.c (getaddrinfo_with_timeout): New function.
1105         (gethostbyname_with_timeout): Ditto.
1106         (lookup_host): Use them.
1107
1108 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1109
1110         * utils.c (number_to_string): Handle the case when n < -INT_MAX.
1111
1112 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1113
1114         * init.c (comind): Use a marginally faster implementation of
1115         binary search.  To quote Martin Buchholz, "a nanosecond saved is a
1116         nanosecond earned."
1117
1118 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1119
1120         * main.c (print_help): Document `--post-data' and `--post-file'.
1121
1122 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1123
1124         * http.c (gethttp): Ditto.
1125
1126         * retr.c (retrieve_url): Initialize variables to appease the
1127         compiler.
1128
1129         * gen_sslfunc.c (ssl_iread): Don't handle EINTR when calling
1130         select_fd.
1131         (ssl_iwrite): Ditto.
1132
1133         * connect.c (select_fd): Rewrite to handle EINTR.  Set errno to
1134         ETIMEDOUT in case of timeout.
1135         (iread): No need to handle EINTR when calling select_fd.
1136         (iwrite): Ditto.
1137
1138 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1139
1140         * retr.c (retrieve_url): Make sure that POST is not honored for
1141         redirections.
1142
1143         * http.c (gethttp): Send the POST data when requested.
1144         (post_file): New function.
1145         (gethttp): Use it.
1146
1147         * main.c (main): Ditto.
1148
1149         * init.c: Add new options.
1150
1151         * options.h (struct options): New options post_data and
1152         post_file_name.
1153
1154 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1155
1156         * connect.c (connect_with_timeout): Firing SIGALRM can result in
1157         connect() exiting with EINTR.  Treat EINTR the same as ETIMEDOUT.
1158
1159 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1160
1161         * connect.c (connect_with_timeout): Use it.
1162
1163         * utils.c (run_with_timeout): New function.
1164
1165 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1166
1167         * url.c (getproxy): Accept a struct url argument.  This obviates
1168         the need for USE_PROXY_P.
1169
1170         * retr.c (retrieve_url): Allow proxy to be a non-FTP URL.
1171
1172         * ftp.c (getftp): Recognize FWTK-style proxy.
1173
1174 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1175
1176         * config.h.in: Only define _VA_LIST when compiled with gcc.
1177
1178 2002-04012  Ian Abbott  <abbotti@mev.co.uk>
1179
1180         * http.c (http_loop): Compensate for MS Windows two-second
1181         granularity of file modification time when comparing timestamps.
1182
1183         * ftp.c (ftp_retrieve_list): Ditto.
1184
1185 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
1186
1187         * utils.c (has_html_suffix_p): New function to test filename for
1188         common html extensions.
1189
1190         * utils.h: Declare it.
1191
1192         * http.c (http_loop): Use it instead of previous test.
1193
1194         * retr.c (retrieve_url): Ditto.
1195
1196         * recur.c (download_child_p): Ditto.
1197
1198 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1199
1200         * config.h.in: Define _VA_LIST on Solaris to prevent stdio.h from
1201         declaring va_list.
1202         From Kevin Rodgers <kevinr@ihs.com>.
1203
1204 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
1205
1206         * Makefile.in: Specify libtool mode explicitly when linking.
1207
1208 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1209
1210         * connect.c (connect_with_timeout): New function.
1211         (connect_to_one): Use it.
1212
1213         * config.h.in: Add stubs for HAVE_SIGSETJMP, HAVE_SIGBLOCK, and
1214         HAVE_SETJMP_H.
1215
1216 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1217
1218         * log.c: Set WGET_USE_STDARG if __STDC__ is defined and stdarg.h
1219         is present.
1220
1221 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1222
1223         * progress.c (bar_create): If INITIAL is larger than TOTAL, fix
1224         TOTAL.
1225         (bar_finish): Likewise.
1226
1227 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1228
1229         * html-url.c (tag_handle_form): New function.  Pick up form
1230         actions and mark them for conversion only.
1231
1232 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1233
1234         * progress.c (struct progress_implementation): Use PARAMS when
1235         declaring the parameters of *create, *update, *finish, and
1236         *set_params.
1237
1238         * netrc.c: Ditto.
1239
1240         * http.c: Reformat some function definitions so that ansi2knr can
1241         read them.
1242
1243         * hash.c (struct hash_table): Use the PARAMS macro around
1244         parameters in the declaration of hash_function and test_function.
1245         (prime_size): Spell 2580823717UL and 3355070839UL as (unsigned
1246         long)0x99d43ea5 and (unsigned long)0xc7fa5177 respectively, so
1247         that pre-ANSI compilers can read them.
1248         (find_mapping): Use PARAMS when declaring EQUALS.
1249         (hash_table_put): Ditto.
1250
1251         * ftp.h: Wrap the parameters of ftp_index declaration in PARAMS.
1252
1253         * cookies.c (cookie_new): Use (unsigned long)0 instead of 0UL,
1254         which was unsupported by pre-ANSI compilers.
1255
1256         From Nelson H. F. Beebe <beebe@math.utah.edu>, for the most part.
1257
1258 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1259
1260         * url.c (url_filename): Use compose_file_name regardless of
1261         whether opt.dirstruct is set.
1262         (mkstruct): Don't handle the query and the reencoding of DIR; that
1263         is done in compose_file_name.
1264
1265 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1266
1267         * wget.h: Ditto for extern char *exec_name.
1268
1269         * options.h: Don't guard against OPTIONS_DEFINED_HERE -- it is
1270         perfectly legal to follow an `extern' with a non-`extern' ones,
1271         provided the types match.
1272
1273         * main.c: Don't define OPTIONS_DEFINED_HERE.
1274
1275 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1276
1277         * progress.c (create_image): Revert to calculating ETA based on
1278         average download speed.
1279         (create_image): Don't print ETA until the download has been active
1280         for at least 3 seconds.
1281         (create_image): When ETA is not available, don't print anything.
1282         The previous version would print --:--.
1283
1284 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1285
1286         * progress.c (bar_update): Keep updating a subinterval until it
1287         reaches or exceeds a watermark.  That way the measurement will be
1288         guaranteed to span a configurable minimum of time.  The current
1289         default is 3s in 30 100ms intervals.
1290
1291 2002-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
1292
1293         * progress.c (bar_update): Maintain an array of the time it took
1294         to perform previous 30 network reads.
1295         (create_image): Calculate the download speed and ETA based on the
1296         last 30 reads, not the entire download.
1297         (create_image): Make sure that the ETA is not changed more than
1298         once per second.
1299
1300 2002-04-09  Ian Abbott  <abbotti@mev.co.uk>
1301
1302         * mswindows.c (borland_utime): New function conditionally defined
1303         when `HACK_BCC_UTIME_BUG' is defined.  A reimplementation of
1304         `utime()' as Borland's `utime()' function is broken on Windows 9x
1305         systems.  (Original patch by Chin-yuan Kuo <sr1111111@yahoo.com.tw>.)
1306
1307 2002-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
1308
1309         * ftp.c (ftp_loop): Propagate the result of ftp_retrieve_glob.
1310
1311 2002-03-26  Ian Abbott  <abbotti@mev.co.uk>
1312
1313         * Makefile.in: Updated several dependencies for object files.
1314
1315 2002-03-20  Ian Abbott  <abbotti@mev.co.uk>
1316
1317         * mswindows.c: Include "utils.h".
1318
1319 2002-03-18  Ian Abbott  <abbotti@mev.co.uk>
1320
1321         * host.h: Don't include netdb.h on windows.
1322
1323 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1324
1325         * recur.c (retrieve_tree): Handle the case when start_url doesn't
1326         parse.
1327
1328 2002-02-19  Andreas Damm  <andreas-sourceforge@radab.org>
1329
1330         * wget.h (DO_REALLOC_FROM_ALLOCA): Multiply with sizeof(type) when
1331         calling xmalloc and memcpy.
1332
1333 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1334
1335         * host.h: Include Unix-specific includes #ifndef WINDOWS.
1336         Patch originally provided by Christian Lackas.
1337
1338 2002-02-11  Christian Lackas  <delta@lackas.net>
1339
1340         * recur.c: recurive downloading for https fixed.
1341
1342 2002-02-19  Alan Eldridge  <alane@geeksrus.net>
1343
1344         * host.h: Also include <netinet/in.h> and <sys/socket.h>.
1345
1346         * ftp-basic.c: Also include <netinet/in.h>.
1347
1348 2002-02-05  Ian Abbott  <abbotti@mev.co.uk>
1349
1350         * http.c (gethttp): when -c used, mark already fully retrieved
1351         file as successfully retrieved.
1352
1353 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1354
1355         * url.c (url_parse): Don't treat '?' as query string separator
1356         when parsing FTP URLs.
1357
1358 2002-02-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1359
1360         * html-url.c (tag_handle_meta): Don't crash on <meta
1361         http-equiv=refresh> where content is missing.
1362
1363 2002-01-31  Herold Heiko  <Heiko.Herold@previnet.it>
1364
1365         * ftp-basic.c, host.c: don't include sys/socket.h, arpa/inet.h,
1366         netdb.h on windows.
1367
1368 2002-01-30  Hrvoje Niksic  <hniksic@arsdigita.com>
1369
1370         * retr.c (retrieve_url): Remove redirection cycle detection.  This
1371         is because some sites legitimately redirect the user back to the
1372         same location, e.g. after an authorization check performed by
1373         another page.  MAX_REDIRECTIONS is still used to prevent infinite
1374         redirection loops.
1375
1376 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1377
1378         * http.c (gethttp): Wrap host name in square brackets if it
1379         contains a colon.
1380
1381 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1382
1383         * url.c (url_parse): Allow all hex digits, not only decimal ones,
1384         to form an IP address.
1385
1386 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1387
1388         * url.c (urlchr_table): Make square braces reserved, so we can
1389         parse http://[::1]/.
1390         (url_parse): Handle host in braces.
1391         (url_string): If url->host contains colons, wrap it in braces.
1392
1393 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1394
1395         * connect.c (resolve_bind_address): New function.
1396         (connect_to_one): Use it.
1397         (bindport): Ditto.
1398
1399         * init.c: Don't resolve bind-address here.
1400
1401         * host.c (wget_sockaddr_set_address): Would bug out with ADDR == NULL.
1402
1403 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1404
1405         * host.c (lookup_host): Use sizeof(ip4_address) to calculate the
1406         offset.
1407         (address_list_new): Use map_ipv4_to_ip.
1408         (wget_sockaddr_set_address): Convert ADDR to IPv4 before using it
1409         in IPv4 context.
1410
1411 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1412
1413         * source: Integrated IPv6 support.
1414         Written by Thomas Lussnig <thomas.lussnig@bewegungsmelder.de>.
1415
1416 2002-01-15  Ian Abbott  <abbotti@mev.co.uk>
1417
1418         * init.c (cmd_file): Change `\' to `/' for Windows (yes, really!)
1419         (cmd_directory): New function. Like cmd_file(), but strips
1420         trailing directory separators.
1421         (commands): Change action for "dirprefix" from `cmd_file' to
1422         `cmd_directory'.
1423
1424         * utils.c (make_directory): Allow intermediate `mkdir' calls to
1425         fail, as not all path components that do not exist should be
1426         directory components, especially under Windows.
1427
1428 2002-01-17  Hrvoje Niksic  <hniksic@arsdigita.com>
1429
1430         * netrc.c (parse_netrc): Skip leading whitespace before testing
1431         whether the line is empty.  Empty lines still contain the line
1432         terminator.
1433
1434 2002-01-15  Hrvoje Niksic  <hniksic@arsdigita.com>
1435
1436         * gen_sslfunc.c (ssl_iread): Call select on the file descriptor
1437         only if no data is pending in SSL buffers.
1438         From tony@bluetail.com.
1439
1440 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1441
1442         * headers.c (header_get): Strip trailing whitespace from the
1443         header.
1444
1445 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1446
1447         * url.c (parse_uname): URL-decode *USER and *PASSWD.
1448
1449 2002-01-07  Ian Abbott <abbotti@mev.co.uk>
1450
1451         * url.c (uri_merge_1): Deal with "net path" relative URL (one that
1452         starts with "//").
1453
1454 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1455
1456         * http.c (gethttp): Invalidate SOCK if get_contents encountered an
1457         error.
1458
1459 2001-12-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1460
1461         * version.c: Wget 1.8.1 is released.
1462
1463 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1464
1465         * version.c: Wget 1.8.1-pre3 is released.
1466
1467 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1468
1469         * recur.c (retrieve_tree): Enqueue the canonical representation of
1470         start_url, so that the test against dl_url_file_map works.
1471
1472 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1473
1474         * log.c (logputs): Check for requested verbosity before printing
1475         anything.
1476
1477 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1478
1479         * html-url.c (tag_handle_link): Treat the "shortcut icon" link as
1480         inline.
1481
1482 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1483
1484         * recur.c (retrieve_tree): Make a copy of file obtained from
1485         dl_url_file_map because the code calls xfree(file) later.
1486
1487 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1488
1489         * recur.c (register_html): Maintain a hash table of HTML files
1490         along with the list.  Disallow duplicates.
1491         (retrieve_tree): Use downloaded_html_set to check whether the file
1492         found in dl_url_file_map is an HTML file, and descend into it if
1493         so.
1494         (convert_all_links): Don't guard against duplicates in
1495         downloaded_html_list, since they are no longer possible.
1496
1497 2001-12-18  Ian Abbott  <abbotti@mev.co.uk>
1498
1499         * recur.c (retrieve_tree): Pass on referring URL when retrieving
1500         recursed URL.
1501
1502 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
1503
1504         * version.c: Wget 1.8.1-pre2 is released.
1505
1506 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
1507
1508         * retr.c (sleep_between_retrievals): Simplify indentation.
1509
1510 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
1511
1512         * gen_sslfunc.c (ssl_init_prng): Use random_number to get a byte
1513         of "randomness" at a time.
1514         (ssl_init_prng): Don't seed the PRNG; random_number will do that.
1515
1516         * retr.c (sleep_between_retrievals): Use it.  Make sure that the
1517         random amount averages in opt.wait.
1518         (sleep_between_retrievals): Don't seed the PRNG; random_number
1519         will do that.
1520
1521         * utils.c (random_number): New function.
1522
1523 2001-12-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1524
1525         * url.c (path_simplify): Move here from utils.c, and make static.
1526
1527 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1528
1529         * init.c (wgetrc_file_name): Print correct message when loading
1530         getenv("WGETRC") fails.
1531
1532 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1533
1534         * recur.c (register_download): Don't abort when one URL references
1535         two different files.
1536
1537 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1538
1539         * http.c (gethttp): Check for conn->scheme, not u->scheme, before
1540         calling ssl_iwrite.
1541
1542 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1543
1544         * version.c: Wget 1.8.1-pre1 is released.
1545
1546 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1547
1548         * res.c (matches): Fix broken URL in the docstring.
1549
1550 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1551
1552         * html-url.c (tag_url_attributes): Mark <embed href=...> as
1553         external.
1554
1555 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1556
1557         * url.c (get_urls_file): Cosmetic changes.
1558
1559 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1560
1561         * html-url.c (append_one_url): Resurrect warning when unable to
1562         resolve a relative link.
1563
1564 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1565
1566         * html-url.c (collect_tags_mapper): Break into several functions.
1567         (tag_url_attributes): Collect <embed href=...>.
1568
1569 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1570
1571         * host.c: New type ipv4_address.  Use it consistently instead of
1572         `unsigned char[4]' and `unsigned char *'.
1573         (pretty_print_address): Accept a `const void *', to require even
1574         less casting.
1575
1576 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1577
1578         * ftp-ls.c (ftp_parse_vms_ls): Fix obvious memory leaks.
1579
1580 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1581
1582         * main.c (main): Initialize progress after fork_to_background, so
1583         that it knows when to use dots.
1584
1585         * mswindows.c (ws_hangup): Call log_request_redirect_output.
1586
1587         * utils.c (fork_to_background): Print the PID of the child
1588         process.
1589
1590         * log.c (log_request_redirect_output): Set a flag that output
1591         redirection has been requested.  Doing anything else in a signal
1592         handler is unsafe.
1593         (check_redirect_output): New function: check whether redirection
1594         has been requested and, if so, call redirect_output().
1595         (logputs): Call check_redirect_output.
1596         (logprintf): Ditto.
1597         (debug_logprintf): Ditto.
1598         (redirect_output): Print clearer messages.
1599
1600         * main.c (redirect_output_signal): Don't call
1601         redirect_output_signal directly.  Instead, call
1602         log_request_redirect_output.
1603
1604         * utils.c (memfatal): Ditto.
1605
1606         * progress.c (display_image): Use it.
1607
1608         * log.c (log_set_save_context): New function: allow the caller to
1609         turn off saving log context lines.
1610
1611 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1612
1613         * host.c (address_list_set_faulty): Uncomment a sanity check.
1614
1615 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1616
1617         * utils.c (long_to_string): Return a pointer after where the
1618         number ends.
1619         (long_to_string): Rename to number_to_string.
1620
1621 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1622
1623         * utils.c (path_simplify): Correctly handle the unlikely case that
1624         b starts out as path + 1.
1625
1626 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1627
1628         * utils.c (path_simplify): Rewrite, with better comments, and
1629         without the use of strcpy to move overlapping blocks.
1630
1631 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
1632
1633         * init.c (cmd_spec_progress): Resurrect.  Check whether VAL is a
1634         valid progress type before setting it.
1635
1636 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
1637
1638         * main.c (main): Remove stray debugging message.
1639
1640 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
1641
1642         * progress.c (create_image): Fix ETA padding when hours are prined.
1643
1644 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
1645
1646         * version.c: Wget 1.8 is released.
1647
1648 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
1649
1650         * url.c (reencode_string): Declare static.
1651
1652         * res.c (registered_specs): Declare static.
1653
1654         * progress.c (current_impl_locked): Declare static.
1655
1656         * log.c (flush_log_p): Declare static.
1657         (needs_flushing): Ditto.
1658
1659         * http.c (digest_authentication_encode): Declare static.
1660
1661         * html-url.c (init_interesting): Declare static.
1662
1663         * host.c (host_name_addresses_map): Declare static.
1664
1665         * cookies.c (find_matching_chains): Declare static.
1666
1667         * ftp-ls.c (ftp_parse_vms_ls): Warn about the memory leak
1668         indicated by lint.
1669
1670         * utils.c (path_simplify): Remove unused variable STUB_CHAR.
1671
1672         * host.c (address_list_set_faulty): Document that INDEX is
1673         currently unused.
1674
1675         * url.c (rewrite_shorthand_url): Remove unused variable PATH.
1676
1677 2001-12-08  Hrvoje Niksic  <hniksic@arsdigita.com>
1678
1679         * version.c: Wget 1.8-pre2 is released.
1680
1681 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1682
1683         * progress.c (progress_handle_sigwinch): Set up the signal again.
1684
1685         * utils.c: Include <sys/termios.h>, where Solaris defines
1686         TIOCGWINSZ.
1687
1688         * progress.c (bar_create): Don't use the last column on the screen.
1689         (create_image): Pad ETA to constant size.  Pad SIZE to nine digits
1690         only until it exceeded them.
1691
1692 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1693
1694         * version.c: Wget 1.8-pre1 is released.
1695
1696 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1697
1698         * progress.c (progress_create): Make sure that, when the output is
1699         redirected, the progress implementation gets changed to the
1700         fallback one.
1701         (bar_set_params): Set current_impl_locked to 1 when "force" is
1702         specified.
1703         (progress_create): Don't change the progress implementation if
1704         current_impl_locked is non-zero.
1705
1706         * main.c (redirect_output_signal): Call
1707         progress_schedule_redirect.
1708
1709         * progress.c (progress_schedule_redirect): New function.
1710
1711 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1712
1713         * log.c (logvprintf): Restructure to allow being called multiple
1714         times.
1715         (logprintf): Call logvprintf in a loop.
1716         (debug_logprintf): Ditto.
1717
1718 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1719
1720         * gen_sslfunc.c (ssl_init_prng): Allow the user to disable EGD by
1721         setting egd_file it to empty string.
1722
1723         * main.c (main): Change the option name from --sslegdsock to
1724         --egd-file.
1725
1726 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1727
1728         * gen_sslfunc.c (ssl_init_prng): Make the printed message
1729         translatable.
1730
1731 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1732
1733         * url.c (scheme_disable): New function.
1734
1735         * main.c (main): Call ssl_init_prng from here rather than from
1736         init_ssl, so that it has a chance to disable support for https
1737         before a URL has been resolved.
1738
1739         * gen_sslfunc.c (ssl_init_prng): Seed with rand() if all else
1740         failed.
1741         (ssl_init_prng): Disable support for https if seeding the PRNG
1742         fails.
1743
1744 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1745
1746         * utils.c (read_whole_line): Handle lines beginning with \0.
1747
1748 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
1749
1750         * recur.c (convert_all_links): Guard against duplicates in
1751         downloaded_html_files.
1752         (register_download): Don't invalidate similar-looking URLs.
1753         (match_except_index): New function.
1754
1755 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
1756
1757         * utils.c (path_simplify): Document with test cases.
1758
1759 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
1760
1761         * gen_sslfunc.c: Ditto.
1762
1763         * rbuf.c: Include <string.h>.
1764
1765 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
1766
1767         * recur.c (retrieve_tree): Check whether the URL was already
1768         downloaded before downloading it again.
1769         (descend_child_p): Renamed to download_child_p.
1770         (register_download): When one URL is downloaded to a file already
1771         "owned" by another URL, delete all references that map any URL to
1772         that file.
1773         (register_delete_file): New function.
1774         (retrieve_tree): Use it after deleting a file.
1775
1776         * url.c (url_parse): Re-canonicalize the URL also if the path is
1777         empty, so that e.g. "http://www.server.com" ->
1778         "http://www.server.com/".
1779         (lowercase_str): Use ISUPPER instead of !ISLOWER.
1780
1781         * retr.c (retrieve_url): Use the canonical URL form when calling
1782         register_download().
1783
1784 2001-12-04  Ian Abbott <abbotti@mev.co.uk>
1785
1786         * snprintf.c (dopr): Use `unsigned int' as the second argument to
1787         va_arg when casting to `unsigned short' is intended.
1788
1789 2001-12-04  Herold Heiko  <Heiko.Herold@previnet.it>
1790
1791         * gen_sslfunc.c: on windows provide ssl crypto random
1792           initialization through RAND_screen(); could possibly
1793           be not enough for strong ssl communication (see the
1794           relevant manual page from the openssl package).
1795
1796 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
1797
1798         * url.c (local_quote_string): Reenable quoting of question marks,
1799         but only when `--html-extension' is used.
1800
1801 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
1802
1803         * version.c: Wget 1.8-beta3 is released.
1804
1805 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
1806
1807         * snprintf.c (dopr): Cast the result of va_arg to short int and
1808         short unsigned int where these types are expected to be used.
1809
1810 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
1811
1812         * snprintf.c (dopr): Replace `short int' and `unsigned short int'
1813         with `int' when using it as the second argument to `va_arg'.
1814
1815 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
1816
1817         * host.c (address_list_new_one): New function.
1818         (lookup_host): Use it.
1819
1820 2001-12-03  Andre Majorel  <amajorel@teaser.fr>
1821
1822         * host.c (lookup_host): Don't initialize TMPSTORE directly because
1823         it's not legal C.
1824
1825 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
1826
1827         * ftp-basic.c (ftp_port): Don't return HOSTERR if we fail getting
1828         the socket data.
1829
1830         * ftp.c: Ditto.
1831
1832         * http.c: No need to declare h_errno.
1833
1834         * host.c: Declare h_errno.
1835
1836 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
1837
1838         * utils.c (file_merge): If BASE doesn't contain a slash, just
1839         return a copy of FILE.
1840
1841 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
1842
1843         * version.c: Wget 1.8-beta2 is released.
1844
1845 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1846
1847         * ftp.c (getftp): When PWD fails, assume "/".
1848
1849         * ftp-basic.c (ftp_syst): Fix indentation.
1850
1851 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1852
1853         * url.c (get_urls_file): If opt.base_href is specified, merge each
1854         URL with the base.
1855
1856 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1857
1858         * main.c (print_help): Don't document the removed `-nh'.
1859
1860 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1861
1862         * url.c (url_full_path): Document better.
1863
1864         * http.c (gethttp): Use the full path when creating digest
1865         authorization.
1866
1867 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1868
1869         * cookies.c (path_matches): Return 0 if PREFIX doesn't begin with
1870         '/'.
1871
1872 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1873
1874         * cookies.c (path_matches): FULL_PATH doesn't begin with '/', but
1875         PREFIX does.
1876
1877 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1878
1879         * cookies.c (check_domain_match): Reimplement to match Netscape's
1880         "preliminary specification" for cookies.
1881
1882 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1883
1884         * url.c (replace_attr_refresh_hack): New function.
1885         (convert_links): Call replace_attr_refresh_hack for Refresh
1886         links.  It will add the "TMOUT; URL=" junk before the link.
1887
1888         * html-url.c (collect_tags_mapper): Set ID to the ID of the
1889         "content" attribute, not "http-equiv".
1890         (collect_tags_mapper): Don't use OFFSET to hack the raw_* values;
1891         instead, store the information that this entry belongs to a
1892         "refresh" link.
1893
1894 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1895
1896         * version.c: Wget 1.8-beta1 is released.
1897
1898 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1899
1900         * recur.c (retrieve_tree): Allow -p retrievals to exceed maximum
1901         depth by more than one.
1902
1903 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
1904
1905         * retr.c (retrieve_url): Don't allow more than 20 redirections.
1906
1907 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
1908
1909         * recur.c (retrieve_tree): Skip the non-inline entries when
1910         enqueuing the children of a leaf HTML node in -p mode.
1911         (descend_url_p): Ignore opt.no_parent when in -p mode and UPOS is
1912         "inline".
1913
1914         * html-url.c (get_urls_html): Don't accept dash_p_leaf_HTML.
1915         (collect_tags_mapper): When an entry is "inline", mark it as such.
1916
1917         * recur.c (descend_url_p): Fix test when checking for
1918         acceptance/rejection rules.
1919
1920 2001-10-31 Daniel BODEA <dali@dali-designs.com>
1921
1922         * netrc.c (search_netrc): When slack_default is 0, still look for
1923         an account with matching password, just not the "default account".
1924         HTTP Authorization using .netrc should now work as expected.
1925
1926 2001-11-30  T. Bharath  <TBharath@responsenetworks.com>
1927
1928         * http.c (persistent_available_p): Call SHUTDOWN_SSL if
1929         test_socket_open fails.
1930
1931 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
1932
1933         * progress.c (display_image): Just print one CR to reset the
1934         cursor position.
1935
1936 2001-11-30  Christian Fraenkel  <c.fraenkel@gmx.net>
1937
1938         * init.c: New command `ssl_egd_sock'.
1939
1940         * main.c (main): New option `--sslegdsock'.
1941
1942         * gen_sslfunc.c (ssl_init_prng): Seed the RNG using EGD.
1943
1944 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1945
1946         * cmpt.c (memmove): Include a simple memmove implementation.
1947
1948 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1949
1950         * headers: Guard against header files being included twice.
1951
1952 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1953
1954         * gen-md5.c: Use unsigned char * as the buffer argument to
1955         gen_md5_update.
1956
1957 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1958
1959         * connect.h: Declare select_fd.
1960
1961 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1962
1963         * recur.c (descend_url_p): When resolving no_parent, compare with
1964         start_url, not parent url.  Otherwise link from /a/b/ to /a/c/
1965         wouldn't be followed, although the download started from /a/.
1966
1967 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
1968
1969         * config.h.ms, mswindows.h: defined HAVE_ISATTY, use _isatty for
1970         MS VC; somebody with Borland compiler please check and provide
1971         patch if possible;
1972
1973         * cmpt.c: provided a usleep emulation.
1974
1975 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1976
1977         * host.c (address_list_new): Initialize al->faulty.
1978
1979 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1980
1981         * http.c (http_process_range): Accept the broken output of
1982         "JavaWebServer/1.1.1".
1983
1984 2001-11-28  Hrvoje Niksic  <hniksic@arsdigita.com>
1985
1986         * progress.c (dot_set_params): If PARAMS is unspecified, use
1987         dot_style, if available.
1988
1989         * init.c: Ditto.
1990
1991         * main.c (main): Resurect --dot-style.
1992
1993         * progress.c (dot_finish): Print the quantity if we're left at the
1994         beginning of a row.
1995
1996 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1997
1998         * cmpt.c (random): Removed.
1999
2000         * retr.c (sleep_between_retrievals): Use the more portable rand()
2001         instead of random().
2002
2003 2001-11-27  Ian Abbott <abbotti@mev.co.uk>
2004
2005         * retr.c (retrieve_from_file): Initialize `new_file' to NULL to
2006         prevent seg fault.
2007
2008 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2009
2010         * connect.c (connect_to_many): Use address_list_set_faulty to
2011         prevent the faulty address from being reused.
2012
2013         * host.c (address_list_set_faulty): New function.
2014         (address_list_get_bounds): New function, instead of
2015         address_list_count.
2016
2017 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2018
2019         * url.c (convert_links): Don't translate %d-%d.
2020
2021         * main.c (print_help): Remove stray HAVE_RANDOM code.
2022
2023 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2024
2025         * ftp.c (getftp): Improve output after sending PASV.  Don't
2026         attempt to "look up" the IP address we already know; call
2027         connect_to_one directly.
2028
2029 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2030
2031         * progress.c: Change the default progress implementation to "bar".
2032
2033 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2034
2035         * progress.c (bar_create): Print two newlines.
2036
2037 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2038
2039         * cmpt.c (random): New function, a simple-minded replacement for
2040         random() on systems that don't have it.
2041
2042 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2043
2044         * config.h.in: Put a HAVE_USLEEP stub.
2045
2046         * cmpt.c (usleep): Replacement implementation of usleep using
2047         select.
2048
2049         * init.c: New option init_rate.
2050
2051         * main.c (main): New option --limit-rate.
2052
2053         * retr.c (limit_bandwidth): New function.
2054         (get_contents): Call it to limit the bandwidth used when
2055         downloading.
2056
2057         * progress.c (dot_update): Would print the wrong download speed on
2058         rows other than the first one when the download was continued.
2059         (dot_finish): Ditto.
2060
2061 2001-11-26  Ian Abbott <abbotti@mev.co.uk>
2062
2063         * http.c (gethttp): fix undeclared variable 'err' when compiled
2064         with HAVE_SSL.
2065
2066 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2067
2068         * progress.c: Don't allocate new timers; use the timing data
2069         propagated from the caller.
2070
2071         * retr.c (get_contents): Allocate and use a timer.
2072
2073 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2074
2075         * http.c (last_host_ip): Made into an address_list.
2076         (invalidate_persistent): Release pc_last_host_ip.
2077         (register_persistent): Use lookup_host.
2078         (persistent_available_p): Check for equality of hosts using
2079         address_list_match_all.  Call address_list_release.
2080         (http_cleanup): New function.
2081
2082         * ftp.c (getftp): Use lookup_host and connect_to_many.
2083
2084         * http.c (gethttp): Use lookup_host and connect_to_many.
2085
2086         * connect.c (make_connection): Removed.
2087         (connect_to_one): New function.
2088         (connect_to_many): Ditto.
2089         (set_connection_host_name): Ditto.
2090
2091         * host.c (lookup_host): New function; new return type.
2092         (address_list_new): New function.
2093         (address_list_count): Ditto.
2094         (address_list_copy_one): Ditto.
2095         (address_list_delete): Ditto.
2096         (address_list_release): Ditto.
2097         (pretty_print_address): Ditto.
2098
2099 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2100
2101         * recur.c (retrieve_tree): In case of followed redirection,
2102         blacklist the pre-redirection URL.
2103
2104 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2105
2106         * recur.c (descend_redirect_p): New function.
2107         (retrieve_tree): Make sure redirections are not blindly followed.
2108
2109 2001-11-04  Alan Eldridge  <alane@geeksrus.net>
2110
2111         * config.h.in: added HAVE_RANDOM.
2112
2113         * options.h: added random_wait to struct options.
2114
2115         * main.c (print_help [HAVE_RANDOM], main): added arg parsing, help
2116         for --random-wait.
2117
2118         * retr.c (sleep_between_retrievals) [HAVE_RANDOM]: added
2119         implementation of random wait times.
2120
2121         * init.c (commands): added "randomwait" keyword.
2122
2123 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2124
2125         * recur.c (descend_url_p): Be more conservative with blacklisting
2126         URLs.
2127         (convert_all_links): Print how many files have been converted, and
2128         how long it took.
2129
2130         * progress.c (create_image): Place the number of downloaded bytes
2131         right after the progress bar.
2132
2133         * utils.c (suffix): Return a pointer into the string.
2134
2135 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2136
2137         * url.c (convert_links): Handle CO_NULLIFY_BASE.
2138
2139         * recur.c (retrieve_tree): Ignore download-ignorable children.
2140         (convert_all_links): Specify CO_NULLIFY_BASE when link_base_p.
2141
2142         * html-url.c (handle_link): Return the newly created urlpos.
2143         (collect_tags_mapper): When dealing with BASE, store the base
2144         reference and mark it as download-ignorable.
2145
2146 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2147
2148         * url.c (convert_links): Attempt to quote '?' as "%3F" when
2149         linking to local files.  Given up on the attempt, as it breaks
2150         local browsing.
2151
2152 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2153
2154         * main.c (private_initialize): Removed.
2155         (main): Don't call private_initialize.
2156
2157         * http.c: Call lookup_host.
2158
2159         * host.c (host_init): Removed.
2160         (add_host_to_cache): Initialize host_name_address_map here, on
2161         demand.
2162         (ngethostbyname): Commented out.
2163
2164         * connect.c (make_connection): Remove dead code; use lookup_host.
2165
2166         * host.c (store_hostaddress): Renamed to lookup_host and reversed
2167         the args.
2168         Removed host_address_name_map and host_slave_master_map.
2169
2170 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2171
2172         * progress.c (dot_create): Align the "[ skipping ... ]" string
2173         with the dots.
2174
2175         * retr.c (rate): Split into two functions: calc_rate and
2176         retr_rate.
2177
2178         * progress.c (create_image): Draw a dummy progress bar even when
2179         total size is unknown.
2180         (display_image): Place the text cursor at the end of the "image".
2181
2182 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2183
2184         * url.c (reencode_string): Use unsigned char, not char --
2185         otherwise the hex digits come out wrong for 8-bit chars such as
2186         nbsp.
2187         (lowercase_str): New function.
2188         (url_parse): Canonicalize u->url if needed.
2189         (get_urls_file): Parse each URL, and return only the valid ones.
2190         (free_urlpos): Call url_free.
2191         (mkstruct): Add :port if the port is non-standard.
2192         (mkstruct): Append the query string to the file name, if any.
2193         (urlpath_length): Use strpbrk_or_eos.
2194         (uri_merge_1): Handle the cases where LINK is an empty string,
2195         where LINK consists only of query, and where LINK consists only of
2196         fragment.
2197         (convert_links): Count and report both kinds of conversion.
2198         (downloaded_file): Use a hash table, not a list.
2199         (downloaded_files_free): Free the hash table.
2200
2201         * retr.c (retrieve_from_file): Ditto.
2202
2203         * main.c (main): Call either retrieve_url or retrieve_tree
2204         for each URL, not both.
2205
2206         * retr.c (register_all_redirections): New function.
2207         (register_redirections_mapper): Ditto.
2208         (retrieve_url): Register the redirections.
2209         (retrieve_url): Make the string "Error parsing proxy ..."
2210         translatable.
2211
2212         * res.c (add_path): Strip leading slash from robots.txt paths so
2213         that the path representations are "compatible".
2214         (free_specs): Free each individual path, too.
2215         (res_cleanup): New function.
2216         (cleanup_hash_table_mapper): Ditto.
2217
2218         * recur.c (url_queue_new): New function.
2219         (url_queue_delete): Ditto.
2220         (url_enqueue): Ditto.
2221         (url_dequeue): Ditto.
2222         (retrieve_tree): New function, replacement for recursive_retrieve.
2223         (descend_url_p): New function.
2224         (register_redirection): New function.
2225
2226         * progress.c (create_image): Cosmetic changes.
2227
2228         * init.c (cleanup): Do all those complex cleanups only if
2229         DEBUG_MALLOC is defined.
2230
2231         * main.c: Removed --simple-check and the corresponding
2232         simple_host_check in init.c.
2233
2234         * html-url.c (handle_link): Parse the URL here, and propagate the
2235         parsed URL to the caller, who would otherwise have to parse it
2236         again.
2237
2238         * host.c (xstrdup_lower): Moved to utils.c.
2239         (realhost): Removed.
2240         (same_host): Ditto.
2241
2242 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2243
2244         * utils.c (path_simplify): Preserver the (non-)existence of
2245         leading slash.  Return non-zero if changes were made.
2246
2247 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2248
2249         * progress.c (bar_update): Don't modify bp->total_length if it is
2250         zero.
2251
2252 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2253
2254         * retr.c (retrieve_url): When the redirection URL doesn't parse,
2255         print the correct error message rather than "UNKNOWN".
2256
2257 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2258
2259         * progress.c (bar_finish): If the timer didn't record any time
2260         since the download beginning, fake 1ms.
2261
2262 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2263
2264         * recur.c (recursive_retrieve): Fix typo.
2265
2266 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2267
2268         * progress.c (create_image): Don't translate "%ld ".
2269
2270 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2271
2272         * progress.c (bar_set_params): Allow the user to force the use of
2273         the bar.
2274
2275 2001-11-23  Lemble Gregory  <gregory.lemble@st.com>
2276
2277         * gen_sslfunc.c (ssl_init_prng): New function; seed the SSL RNG.
2278
2279 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2280
2281         * progress.c: Renamed dp_* functions to dot_* for greater clarity
2282         and consistency with bar_*.
2283         (print_download_speed): Get rid of the unneeded '@' character.
2284         (create_image): Fix download rate geometry.
2285
2286         * progress.c (print_elapsed): Remove spurious space.
2287         (print_elapsed): Renamed to print_download_speed, since that's
2288         what it does.
2289
2290 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2291
2292         * progress.c (bar_update): If the downloaded amount becomes larger
2293         than the expected amount, adjust the expected amount accordingly.
2294
2295 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2296
2297         * utils.c (determine_screen_width): New function.
2298
2299         * main.c (main): New option `--progress=TYPE'.
2300         (main): Implement compatibility with the old option `--dot-style'.
2301
2302         * init.c: Removed cmd_spec_dotstyle -- that logic is now in
2303         dp_set_params.
2304         (cmd_spec_progress): New function.
2305
2306         * retr.c (get_contents): Use the progress_* functions instead of
2307         the old show_progress().
2308         (show_progress): Removed.
2309         (rate): Print "xxxx.xx K/s" instead of "KB/s".  Ditto for MB/s,
2310         etc.
2311
2312         * progress.c (set_progress_implementation): New function.
2313         (valid_progress_implementation_p): Ditto.
2314         (progress_create): Ditto.
2315         (progress_update): Ditto.
2316         (progress_finish): Ditto.
2317         (dp_create): Ditto.
2318         (dp_update): Ditto.
2319         (dp_finish): Ditto.
2320         (dp_set_params): Ditto.
2321         (print_elapsed): Ditto.
2322
2323 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
2324
2325         * retr.c (show_progress): Use it.
2326
2327         * log.c (log_set_flush): New function.
2328
2329 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
2330
2331         * utils.c (path_simplify): Don't remove trailing slashes.
2332
2333         * ftp.c (ftp_get_listing): Use it.
2334
2335         * utils.c (file_merge): New function.
2336
2337         * url.c (opt_url): Removed.
2338
2339         * recur.c (recursive_retrieve): Inline "opt_url" logic.
2340
2341         * main.c (main): Use xfree(), not free().
2342
2343         * url.c (rewrite_url_maybe): Renamed to rewrite_shorthand_url.
2344
2345         * ftp.c (ccon): Move `ccon' typedef here, since it's only used
2346         internally.
2347
2348         * config.h.in: Include a stub for HAVE_STRPBRK.
2349
2350         * cmpt.c (strpbrk): Include a replacement for systems without
2351         strpbrk().
2352
2353         * ftp.c: Use url_set_dir and url_set_file when modifying the URL.
2354
2355         * url.c (url_set_dir): New function.
2356         (url_set_file): Ditto.
2357
2358         * ftp-basic.c (ftp_process_type): Process FTP type here; the URL
2359         parser makes the URL "params" available, so we can do that in this
2360         function.
2361
2362         * retr.c: Ditto.
2363
2364         * ftp.c: Ditto; pass the local file information in `ccon'.
2365
2366         * http.c: Get rid of the ugly kludge that had URL being replaced
2367         with the proxy URL when proxy retrieval was requested.  Use a
2368         separate parameter to http_loop and gethttp for the proxy URL.
2369
2370         * http.c: Changed to reflect the fact that local file, proxy, and
2371         referer information are no longer stored in struct url.  The local
2372         file information is passed in `struct hstat' now.
2373
2374         * url.c: Reworked URL parsing to be more regular.  Reencode the
2375         URL using reencode_string.
2376         Removed non-URL-related information from struct url.  This
2377         includes fields `proxy', `local', and `referer'.
2378
2379 2001-11-22  Jochen Hein  <jochen@jochen.org>
2380
2381         * main.c (main): Split the copyright notice for easier
2382         translation.
2383
2384 2001-08-21  Dave Turner <dct25@hermes.cam.ac.uk>
2385
2386         * ftp-basic.c (ftp_size): New function to send non-standard SIZE
2387           command to server to request file size.
2388         * ftp.h (ftp_size): Export it.
2389         * ftp.c (getftp): Use new ftp_size function if restoring
2390           transfer of a file with unknown size.
2391
2392 2001-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2393
2394         * url.c (parseurl): Don't depend on the now-obsolete TYPE.
2395
2396 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2397
2398         * url.c (getproxy): Handle URL shorthands.
2399
2400 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2401
2402         * main.c: Remove --wait / --waitretry backwards compatibility
2403         code.
2404
2405 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2406
2407         * main.c (main): Use it.
2408
2409         * url.c (rewrite_url_maybe): New function.
2410
2411 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2412
2413         * url.c: Clean up handling of URL schemes.
2414
2415 2001-05-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2416
2417         * url.c: Get rid of `protostrings'.
2418         (skip_proto): Don't use protostrings.
2419         (has_proto): Ditto.
2420
2421 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2422
2423         * Makefile.in: Conditionally compile getopt.o.
2424
2425 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2426
2427         * md5.h: Renamed to gnu-md5.h.
2428
2429         * md5.c: Renamed to gnu-md5.c.
2430
2431         * http.c: Ditto.
2432
2433         * ftp-opie.c: Use the new macros.
2434
2435         * sysdep.h: Define md5-related macros.
2436
2437         * config.h.in: Define HAVE_SOLARIS_MD5 or HAVE_BUILTIN_MD5
2438         depending on which md5 implementation is used.
2439
2440 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2441
2442         * res.c (res_register_specs): Initialize OLD and HP_OLD to appease
2443         the compiler.
2444
2445 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2446
2447         * http.c (gethttp): Print the whole response line when printing
2448         headers is requested.
2449
2450 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2451
2452         * res.c: New file.  Implement all RES-related code here.
2453
2454 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2455
2456         * version.c: Wget 1.7.1 is released.
2457
2458 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2459
2460         * headers.c (header_extract_number): Ignore trailing whitespace.
2461
2462 2001-08-24  Ian Abbott  <abbotti@mev.co.uk>
2463
2464         * html-url.c (collect_tags_mapper): Fix bug converting links
2465         with -k option for tags with multiple link attributes by
2466         handling links in the order they appear.
2467
2468 2001-08-15  Ian Abbott  <abbotti@mev.co.uk>
2469
2470         * ftp.c (ftp_loop_internal): Avoid a potential buffer overflow in
2471           the call to the 'rate' function by moving it past the error
2472           checking for the 'getftp' function return value.
2473
2474 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2475
2476         * html-parse.c (advance_declaration): Use 0x22 instead of '"' or
2477         '\"'.  Different compilers' assert macros are broken in different
2478         ways.
2479
2480 2001-09-29  Christian Fraenkel  <c.fraenkel@gmx.net>
2481
2482         * http.c (gethttp): print debug output for errors occuring during
2483         the ssl handshake.
2484
2485 2001-11-16  Chris Seawood  <cls@seawood.org>
2486
2487         * init.c: Ditto.
2488
2489         * host.c: Ditto.
2490
2491         * connect.c: Ditto.
2492
2493         * sysdep.h: Support compilation under BEOS.
2494
2495 2001-06-08  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
2496
2497         * url.c (url_equal): Fix a memory leak when parseurl returns an
2498         error on the second URL. Also, since url_equal is not used at the
2499         moment, do not compile it.
2500
2501         * url.h: Ditto for the prototype of url_equal.
2502
2503 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2504
2505         * html-parse.c (map_html_tags): Support XML-style empty tags.
2506
2507 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2508
2509         * wget.h (DO_REALLOC_FROM_ALLOCA): Check for do_realloc_newsize in
2510         loop condition because we're no longer setting SIZEVAR here.
2511
2512 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2513
2514         * wget.h (DO_REALLOC_FROM_ALLOCA): Set SIZEVAR after the memcpy()
2515         call because it needs the old value.
2516
2517 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2518
2519         * cookies.c (ATTR_NAME_CHAR): Allow almost any character to be in
2520         an attribute name.
2521
2522 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2523
2524         * url.c (url_filename): Make sure that slashes that sneak in to
2525         u->file via query string get protected.
2526         (file_name_protect_query_string): New function.
2527
2528 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2529
2530         * recur.c (recursive_retrieve): Also check undesirable_urls with
2531         canonicalized URL.
2532
2533 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2534
2535         * http.c (gethttp): Search `.netrc' with real host, not the proxy
2536         one.
2537
2538 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2539
2540         * sysdep.h (MAP_FAILED): Provide MAP_FAILED for systems that don't
2541         define it.
2542
2543 2001-06-09  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2544
2545         * ftp.h: Provide correct prototype for ftp_parse_ls().
2546
2547 2001-06-04  Hrvoje Niksic  <hniksic@arsdigita.com>
2548
2549         * version.c: Wget 1.7 is released.
2550
2551 2001-06-03  Karl Eichwalder  <ke@suse.de>
2552
2553         * ftp-ls.c (ftp_parse_ls): Fix typo.
2554
2555 2001-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2556
2557         * all: Update copyright information.
2558
2559 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2560
2561         * http.c (gethttp): Indicate that the continued download failed
2562         for *this* file.
2563
2564 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2565
2566         * version.c: Wget 1.7-pre1 is released.
2567
2568 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2569
2570         * version.c: Updated version to 1.7-pre1.
2571
2572 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2573
2574         * gen_sslfunc.c: Don't include <sys/time.h> directly.
2575
2576 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2577
2578         * http.c (gethttp): Use real URL data for cookies, not the proxy
2579         stuff.
2580
2581 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2582
2583         * main.c (print_help): Document `--no-http-keep-alive'.
2584
2585         * utils.c (numdigit): Handle negative numbers *correctly*.
2586
2587         * hash.c (make_nocase_string_hash_table): Use term "nocase" rather
2588         than the confusing "unsigned".
2589
2590         * utils.c (string_set_contains): Renamed from string_set_exists.
2591
2592         * hash.c (hash_table_contains): Renamed from hash_table_exists.
2593
2594         * cookies.c: Move case-insensitive hash tables to hash.c.
2595
2596 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2597
2598         * http.c (gethttp): Before concluding that the file is already
2599         fully retrieved, make sure that the file existed and `Range' was
2600         actually requested.
2601
2602 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2603
2604         * cookies.c (eliminate_dups): New function.
2605         (build_cookies_request): Use it.
2606         (build_cookies_request): Set chain_store_size after reallocating
2607         all_chains.
2608         (check_domain_match): Annotated for easier future debugging.
2609         (store_cookie): In the debug message, print whether the cookie is
2610         permanent.
2611
2612 2001-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2613
2614         * http.c (http_loop): Reset no_truncate before deciding whether to
2615         set it.
2616         (gethttp): Further clarify "-c conflicts with existing file" error
2617         message, based on input from Herold Heiko.
2618
2619 2001-05-07  Hrvoje Niksic  <hniksic@arsdigita.com>
2620
2621         * http.c (http_loop): If restval is set, set no_truncate to 1
2622         unconditionally.
2623
2624 2001-05-02  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2625
2626         * ftp-ls.c (ftp_parse_winnt_ls): Assure months are being correctly
2627         converted. Pointed out by <Stefan.Weil@de.heidelberg.com>.
2628         (ftp_parse_vms_ls): Ditto.
2629
2630 2001-04-30  Hrvoje Niksic  <hniksic@arsdigita.com>
2631
2632         * init.c (cmd_address): Zero SIN before using it; apparently
2633         needed on *BSD.
2634
2635 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2636
2637         * ftp.c (ftp_loop_internal): Don't set NO_TRUNCATE if the file is
2638         empty.
2639
2640 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
2641
2642         * main.c (main): Make `--cookies' respect its argument.
2643
2644 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
2645
2646         * main.c (main): Removed undocumented option `--email-address'.
2647
2648         * netrc.c: Use the latest read_whole_line.
2649
2650         * init.c (defaults): Set opt.ftp_pass to "-wget@".
2651
2652         * mswindows.c (pwd_cuserid): Ditto.
2653
2654         * utils.c (pwd_cuserid): Removed.
2655
2656         * host.c (ftp_getaddress): Removed.
2657
2658 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
2659
2660         (http_loop): Allocate space for filename_plus_orig_suffix with
2661         alloca; this is more efficient and removes the need to free it
2662         before each and every return.
2663
2664 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
2665
2666         * http.c (gethttp): Return RETRUNNEEDED when the retrieval is
2667         unneeded because the file is already there and fully downloaded,
2668         and -c is specified.
2669         (http_loop): Handle RETRUNNEEDED.
2670
2671         * wget.h (uerr_t): New value RETRUNNEEDED.
2672
2673         * http.c (http_loop): Set no_truncate for files that both exist
2674         and are non-empty.
2675         (gethttp): Consider the download finished when restval >= contlen,
2676         not only when restval==contlen.
2677         (gethttp): Handle redirection before giving up due to -c.
2678         (gethttp): Clarify error message which explains that -c will not
2679         truncate the file.
2680         (gethttp): When returning CONTNOTSUPPORTED, don't forget to free
2681         the stuff that needs freeing and release the socket.
2682
2683 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2684
2685         * main.c (print_help): Wget booleans accept "off", not "no".
2686
2687 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2688
2689         * http.c (http_loop): If allow_cache is zero, always disable
2690         caching, not only when retrieving through proxy.
2691
2692         * init.c: Ditto.
2693
2694         * options.h (struct options): Rename proxy_cache to allow_cache.
2695
2696 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2697
2698         * http.c (mktime_from_utc): Improve documentation.
2699         (http_atotm): Put format strings into a separate array.
2700
2701 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
2702
2703         * safe-ctype.h: Instead of throwing #error when isalpha is
2704         defined, redefine it to something that will throw a compile-time
2705         error if actually *used*.  Do the same for the rest of the
2706         standard C macros.
2707
2708 2001-04-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2709
2710         * url.c (getproxy): Ignore empty proxy vars.
2711
2712 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2713
2714         * http.c (http_loop): Would load cookies every time.
2715
2716         * cookies.c (load_cookies): Handle cookies whose values contain
2717         embedded spaces.
2718
2719 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2720
2721         * utils.c: Define each DIGITS_* in one line.
2722
2723 2001-04-25  Roger L. Beeman  <beeman@cisco.com>
2724
2725         * http.c (http_atotm): Initialize t.tm_isdst to 0.
2726         (mktime_from_utc): Prevent mktime() from having discontinuities at
2727         DST transition points.
2728
2729 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2730
2731         * html-url.c (get_urls_html): Fix documentation.
2732
2733 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2734
2735         * url.c (UNSAFE_CHAR): Reimplement using a static table.
2736         (url_init): Removed.
2737         (init_unsafe_char_table): Removed.
2738
2739 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2740
2741         * snprintf.c (dopr): Replace ISDIGIT with '0' <= ch && ch <= '9'.
2742
2743 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2744
2745         * utils.c: Document timer functions.
2746
2747         * retr.c (rate): Use it.
2748         (rate): Print in GB/s if transfer rate exceeds 1 GB/s.
2749
2750         * utils.c (wtimer_granularity): New function.
2751
2752 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2753
2754         * retr.c (show_progress): Ditto.
2755
2756         * ftp.c (getftp): Ditto.
2757
2758         * http.c (gethttp): Use new timer functions.
2759
2760         * utils.c (wtimer_allocate): New function.
2761         (wtimer_new): Ditto.
2762         (wtimer_delete): Ditto.
2763         (wtimer_reset): Ditto.
2764         (wtimer_elapsed): Ditto.
2765
2766 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2767
2768         * utils.c (long_to_string): New, faster version.  Favors smaller
2769         numbers; much of the calculation is now done at compile-time.
2770
2771 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2772
2773         * utils.c (numdigit): Handle negative numbers.
2774
2775 2001-04-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2776
2777         * retr.c (show_progress): Print the download rate even when the
2778         percentages are not available.
2779
2780 2001-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2781
2782         * ftp.c (getftp): Adjust expected_bytes if the length is
2783         authoritative.
2784
2785 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2786
2787         * url.c: Don't declare `construct'.
2788
2789         * hash.c (grow_hash_table): Speed up rehashing; inline storing of
2790         mappings to new locations.
2791         (hash_table_new): Make resize_threshold a field in the hash table,
2792         so we don't have to recalculate it in each hash_table_put.
2793         (grow_hash_table): Update resize_threshold.
2794         (MAX): Remove unused macro.
2795         (prime_size): Made static.
2796
2797 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2798
2799         * retr.c (retrieve_url): Call uri_merge, not url_concat.
2800
2801         * html-url.c (collect_tags_mapper): Call uri_merge, not
2802         url_concat.
2803
2804         * url.c (mkstruct): Use encode_string instead of xstrdup followed
2805         by URL_CLEANSE.
2806         (path_simplify_with_kludge): Deleted.
2807         (contains_unsafe): Deleted.
2808         (construct): Renamed to uri_merge_1.
2809         (url_concat): Renamed to uri_merge.
2810
2811 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2812
2813         * url.c (str_url): Use encode_string instead of the unnecessary
2814         CLEANDUP.
2815         (encode_string_maybe): New function, returns input string if no
2816         encoding is needed.
2817         (encode_string): Call encode_string_maybe to do the dirty work,
2818         xstrdup if no work needed.
2819
2820 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2821
2822         * wget.h (XDIGIT_TO_xchar): Define here.
2823
2824         * url.c (decode_string): Use new name.
2825         (encode_string): Ditto.
2826
2827         * http.c (XDIGIT_TO_xchar): Rename HEXD2asc to XDIGIT_TO_xchar.
2828         (dump_hash): Use new name.
2829
2830         * wget.h: Rename ASC2HEXD and HEXD2ASC to XCHAR_TO_XDIGIT and
2831         XDIGIT_TO_XCHAR respectively.
2832
2833 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2834
2835         * init.c: Include cookies.h.
2836
2837         * cookies.h: Declare cookies_cleanup.
2838
2839         * cookies.c (check_domain_match): Remove unused variable.
2840         (save_cookies): Remove extraneous argument from debug statement.
2841
2842         * host.c (same_host): Don't call skip_url.
2843
2844         * url.c (skip_url): Removed.  Removed its calls from various
2845         functions in url.c.
2846
2847 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2848
2849         * cookies.c (unsigned_string_hash): Use the new code in
2850         string_hash as reference.
2851
2852         * hash.c (hash_table_map): Allow deletion and change of the
2853         element processed by MAPFUN.
2854         (string_hash): Use the function from glib.
2855
2856 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2857
2858         * config.h.in: Include #undef stub.
2859
2860         * hash.c (hash_table_remove): Rewrite to actually clear deleted
2861         entries instead of just marking them as deleted.
2862
2863 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2864
2865         * hash.h: Declare hash_table_get_pair and hash_table_count.
2866
2867 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2868
2869         * cookies.c: Declare http_atotm.
2870
2871 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2872
2873         * ftp-ls.c (ftp_parse_unix_ls): Use octal constants for
2874         permissions.  A compiler that doesn't accept octal constants is
2875         seriously broken and shouldn't be used -- octal constants were
2876         present in K&R C!
2877
2878 2001-01-20  Karl Eichwalder  <ke@suse.de>
2879
2880         * Makefile.in: Provide and use DESTDIR according to the Coding
2881         Standards.
2882
2883 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2884
2885         * ftp-ls.c (ftp_parse_vms_ls): Make seconds optional in time
2886         specification.
2887
2888 2001-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2889
2890         * url.c (parseurl): Don't strip trailing slash when u->dir is "/"
2891         because that strips the *leading* slash, thus forcing relative
2892         FTP retrieval.
2893
2894 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2895
2896         * ftp.c (getftp): Convert initial FTP directory from VMS to UNIX
2897         notation for VMS servers.
2898         (ftp_retrieve_dirs): Do not prepend '/' to f->name when
2899         odir is an empty string.
2900
2901 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2902
2903         * ftp-ls.c (ftp_parse_winnt_ls): Made the fix for AM/PM more
2904         effective. Suggested by Edward J. Sabol.
2905
2906 2001-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2907
2908         * cookies.c (build_cookies_request): Use and sort cookies from all
2909         matching domains.
2910         (build_cookies_request): Check for duplicates before generating
2911         the `Cookies' header.
2912
2913         * main.c (main): Don't load cookies here.
2914         (main): Make loadcookies and savecookies call the correct command.
2915
2916         * http.c (http_loop): Load cookies on-demand.
2917
2918 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2919
2920         * http.c (gethttp): Fix indentation of SSL ifdef.
2921
2922 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2923
2924         * ftp.c (ftp_retrieve_dirs): Don't forcibly prepend "/" to u->dir;
2925         that hack is no longer necessary.
2926         (getftp): Prepend initial directory to *non*-absolute u->dir's.
2927
2928 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2929
2930         * init.c (cmd_file): New function.
2931         (enable_tilde_expansion): New variable.
2932         (run_wgetrc): Use it.
2933         (cmd_file): Use it.
2934
2935 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2936
2937         * init.c: Include cookie-related options.
2938
2939         * main.c (main): Include cookie-specific options.
2940         (main): Load cookies before download is finished.
2941         (main): Save cookies when done.
2942
2943         * http.c (gethttp): Process the `Set-Cookie' header.
2944         (gethttp): Include cookies in the response.
2945
2946         * cookies.c: New file.
2947
2948 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2949
2950         * utils.c (datetime_str): New function.
2951
2952 2001-04-08  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2953
2954         * ftp-ls.c (ftp_parse_winnt_ls): The AM/PM change did assume
2955         12:01PM == 00:01, which was obviously wrong. Taken care of this
2956         anomaly.
2957
2958         * ChangeLog: Removed an excess conflict marker. Reformatted the
2959         entry by Philipp Thomas from 2001-03-09.
2960
2961         * ftp-ls.c (ftp_parse_winnt_ls): Ensure that adjusted PM hours lay
2962         between 0 and 23. Elminate unused variable `sec'.
2963
2964 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2965
2966         * hash.c (hash_table_count): New function.
2967
2968 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2969
2970         * utils.c (read_file): Cast MAP_FAILED to char *.  Enforced by
2971         Digital Unix cc.
2972
2973 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2974
2975         * config.h.in: Oops, do the namespace tweaks only on systems we
2976         know about.
2977
2978 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2979
2980         * hash.c: Include <string.h>.
2981
2982 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2983
2984         * config.h.in: Define "compilation environment" options that work
2985         under Linux and Solaris.  To be reviewed on other OS'es.
2986
2987 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2988
2989         * http.c (gethttp): Prepend literal newline with `\n\'.
2990
2991 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2992
2993         * sysdep.h: Don't define VERY_LONG_FORMAT.
2994
2995         * utils.c (very_long_to_string): New function.
2996         (legible_very_long): Use it; don't use VERY_LONG_FORMAT.
2997
2998 2001-04-04  Christian Fraenkel  <christian.fraenkel@gmx.net>
2999
3000         * url.c (parse_uname): Would run past the end of the string if the
3001         username was present, but the URL did not contain a slash, e.g.
3002         http://foo:bar@myhost.
3003
3004 2001-04-03  KOJIMA Hajime  <kjm@rins.ryukoku.ac.jp>
3005
3006         * http.c (http_atotm): Use %A instead of %a to match full
3007         weekday.  (On most systems there is no difference.)
3008
3009 2001-04-03  Paul Bludov  <paul@ozero.net>
3010
3011         * mswindows.c (sleep): Use SleepEx() instead of Sleep().
3012         (ws_changetitle): Use alloca() instead of malloc() to avoid memory
3013         leak.
3014         (ws_mypath): Use GetModuleFileName instead of argv[0].
3015         (ws_startup): Use data.wVersion for comparison.
3016
3017 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3018
3019         * http.c (http_loop): Ditto.
3020
3021         * ftp.c (ftp_loop_internal): Made the check whether to continue
3022         retrieval `-O'-friendly.
3023
3024 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3025
3026         * netrc.c (parse_netrc): Don't trim the line endings explicitly;
3027         they will be handled as whitespace.
3028         (parse_netrc): Correctly handle lines that end with whitespace.
3029
3030 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3031
3032         * retr.c (retrieve_url): New variable global_download_count used
3033         to identify first retrieval.
3034
3035         * ftp.c (getftp): Ditto.
3036
3037         * http.c (gethttp): Rewind opt.dfp only on first retrieval.
3038
3039 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3040
3041         * init.c (cmd_address): Heap-allocate the address that gets stored
3042         to CLOSURE.  Old code would simply assign an address on the stack.
3043
3044 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
3045
3046         * ftp.c (ftp_get_listing): Propagate error status.
3047         (ftp_retrieve_glob): Use it.
3048         (ftp_loop): Ditto.
3049
3050 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
3051
3052         * main.c (main): Add -C to the string that is the third arg to
3053         getopt_long().
3054
3055 2001-04-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3056
3057         * ftp.c (getftp): Don't start the download from scratch if `-c'
3058         was specified, but the file is already fully downloaded.
3059
3060         * http.c (gethttp): Don't truncate a pre-existing file if `-c' was
3061         specified and the server doesn't support continued download.
3062         (gethttp): Don't start the download from scratch if `-c' was
3063         specified, but the file is already fully downloaded.
3064
3065 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3066
3067         (recursive_retrieve): Don't clear the hash tables at this point at
3068         all; it interferes with the normal operation of register_download.
3069
3070 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3071
3072         * recur.c (recursive_retrieve): Clear the hash tables only when
3073         they are defined.
3074
3075 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3076
3077         * http.c (gethttp): Make sure the socket is closed with
3078         CLOSE_INVALIDATE before we have drained the body.
3079
3080 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3081
3082         * retr.c (retrieve_url): Call register_download() for downloaded
3083         files and register_html() for downloaded HTML files.
3084
3085         * recur.c (register_download): New function; register here that a
3086         file has been downloaded, rather than in recursive_retrieve().
3087         (register_html): New function; enqueue the location of HTML files
3088         here rather than in recursive_retrieve().
3089
3090 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3091
3092         * main.c (print_help): Use multiple fputs instead of a single ugly
3093         printf().
3094         (main): Consistently assign numbers >128 to options without a
3095         corresponding character.
3096
3097 2001-03-09  Philipp Thomas  <pthomas@suse.de>
3098
3099         * safe-ctype.h: New file. Locale independent ctype.h replacement
3100         taken from libiberty.
3101
3102         * safe-ctype.c: New file. Tables for above.
3103
3104         * Makefile.in: Add safe-ctype$o to OBJS.  Add dependencies for
3105         safe-ctype$o.
3106
3107         * cmpt.c: Remove include of ctype.h. Use ISSPACE instead of
3108         isspace.
3109
3110         * ftp-basic.c: Don't include ctype.h.
3111
3112         * ftp-ls.c: Likewise.
3113
3114         * ftp.c: Likewise.
3115
3116         * headers.c: Likewise.
3117
3118         * host.c: Likewise.
3119
3120         * html-parse.c: Likewise.
3121
3122         * html-url.c: Likewise.
3123
3124         * http.c: Likewise.
3125
3126         * init.c: Likewise.
3127
3128         * main.c: Likewise. Set LC_CTYPE along with LC_MESSAGES.
3129
3130         * netrc.c: Likewise.
3131
3132         * recur.c: Likewise.
3133
3134         * retr.c: Likewise.
3135
3136         * snprintf.c: Replace ctype.h with safe-ctype.h. Use ISDIGIT
3137         instead of isdigit.
3138
3139         * sysdep.h: Remove defines of ctype macros as they aren't needed
3140         for safe-ctype-h.
3141
3142         * url.c: Don't include ctype.h.
3143
3144         * utils.c: Likewise.
3145
3146         * wget.h: Include safe-ctype.h.
3147
3148 2001-03-27  Dan Harkless  <wget@harkless.org>
3149
3150         * Makefile.in: Moved top_builddir out of "User configuration
3151         section" of top Makefile and analogous spot in this one.
3152
3153 2001-03-17  Dan Harkless  <wget@harkless.org>
3154
3155         * Makefile.in: Include @SSL_INCLUDES@ substition in INCLUDES.
3156         Define top_builddir.  Link wget with libtool so the user doesn't
3157         have to supply a bunch of custom environment variables to
3158         correctly link with the OpenSSL shared libraries.
3159
3160 2001-03-06  Hack Kampbjorn  <hack@hackdata.com>
3161
3162         * http.c (gethttp): skip :port in host header if it is the
3163         DEFAULT_HTTPS_PORT when using SSL.
3164
3165         * url.c: move the #define of DEFAULT_HTTP_PORT, DEFAULT_FTP_PORT
3166         and DEFAULT_HTTPS_PORT to the header file so it can be use in the
3167         rest of the code.
3168         * url.h: Ditto
3169
3170 2001-03-01  Jonas Jensen  <bones@huleboer.dk>
3171
3172         * retr.c (show_progress): Correctly calculate the number of bytes
3173         in the first line of the download that have been actually
3174         downloaded in this run.
3175
3176 2001-02-23  Dan Harkless  <wget@harkless.org>
3177
3178         * main.c (print_help): --help documentation for -N said it would
3179         re-download files if they had the _same_ timestamp on server.
3180         (print_help): -nr belongs in "FTP options" section of --help
3181         output, not "Recursive retrieval" section.  Alphabetized FTP
3182         options by long option name.
3183
3184 2001-02-16  Dan Harkless  <wget@harkless.org>
3185
3186         * init.c (commands): Hack Kampbjørn <hack@hackdata.com> discovered
3187         that "httpsproxy" had been inserted into commands[] out of
3188         alphabetical order, causing "BUG: unknown command `httpuser'".
3189
3190 2001-02-13  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3191
3192         * ftp-ls.c (ftp_parse_ls): Added support of ST_MACOS (Unix-like
3193         listing without correct permissons).
3194
3195         * ftp.h (stype): Added ST_MACOS to identify the NetPresenz MacOS
3196         FTP server.
3197
3198         * ftp.c (ftp_retrieve_list): New mirroring logic: A remote file
3199         shall be donwloaded only when it's newer than the local copy or
3200         when it has the same timeestamp but its size is different. ST_VMS
3201         and ST_MACOS as special cases that lie about file size.
3202
3203         * ftp-ls.c (ftp_parse_ls): Support for ST_MACOS.
3204
3205         * Makefile.in: Removed dependency on ftpparse library due to unclear
3206         copyright issues and absence of any feedback to our queries.
3207
3208         * ftp-ls.c: Removed dependency on ftpparse library due to unclear
3209         copyright issues and absence of any feedback to our queries.
3210         (ftp_parse_ls): Added a warning message when remote server system
3211         does not seem to be suported by wget.
3212         (ftp_parse_vms_ls): New function for parsing VMS ftp
3213         server listing output.
3214         (clean_line): New function responsible for removing
3215         end-of-line characters from FTP listing texts.
3216
3217         * ftp.c (getftp): Global variables pwd and host_type are now
3218         member of the ccon structure under names ccon.id and ccon.rs.
3219
3220         * ftp.h (struct ccon): Added formed global variables from ftp.c,
3221         enum stype rs (remote system identification) and char *id (initial
3222         working directory), as suggested by Hrvoje.
3223
3224         * url.c (parse_uname): Added support for passwords containing '@'
3225         characters.
3226         (skip_uname): Ditto.
3227
3228 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3229
3230         * ftp.c (ftp_loop): Reset con.
3231
3232 2001-01-06  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3233
3234         * url.c (parse_uname): Added support for passwords containing '@'
3235         characters.
3236         (skip_uname): Ditto.
3237
3238 2001-02-11  Hack Kampbjørn  <hack@hackdata.com>
3239
3240         * url.c (parseurl): Debug-print u->ftp_type.
3241
3242 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3243
3244         * ftp.c (ftp_loop_internal): Disable padding.
3245         (getftp): Ditto.
3246
3247         * http.c (http_loop): Disable padding.
3248
3249         * retr.c (show_progress): Use it to enable padding.
3250
3251         * retr.c (rate): Optional parameter PAD for padding the rate.
3252
3253 2001-02-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3254
3255         * retr.c (show_progress): Make sure that the last output line
3256         includes progress.
3257
3258 2001-02-10  Jonas Jensen  <bones@huleboer.dk>
3259
3260         * retr.c (show_progress): Print the download rate along with the
3261         percentages.
3262         Along with Anders Thorsby <anders@thorsby.dk>.
3263
3264 2001-02-10  Tim Mooney  <mooney@dogbert.cc.ndsu.NoDak.edu>
3265
3266         * ftp.h: Rename enums `command' to `wget_ftp_command' and
3267         `fstatus' to `wget_ftp_status' because old names clash with Tru64
3268         net/if.h.
3269
3270 2001-02-08  Christian Fraenkel <christian.fraenkel@gmx.net>
3271
3272         * gen_sslfunc.c: verify_callback is now static
3273
3274         * gen_sslfunc.c (init_ssl): load certificate if specified
3275
3276         * gen_sslfunc.c (ssl_printerr): new function
3277
3278         * init.c: added new --sslcertfile and --sslcertkey switches
3279
3280         * main.c: ditto
3281
3282         * options.h: ditto
3283
3284         * http.c (gethttp): abort when init_ssl fails
3285
3286 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
3287
3288         * mswindows.h: Include <malloc.h>; it's needed for alloca().
3289
3290 2001-01-10  Dan Harkless  <wget@harkless.org>
3291
3292         * url.c (str_url): Clarified this function's comment header after
3293         Hrvoje answered my question on the list as to when hide != 1.
3294         Also Hrvoje pointed out I need to use xstrdup() on the string literal.
3295
3296 2001-01-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3297
3298         * connect.c (bindport): Declare addrlen as int.  Diagnosed by
3299         Drazen Kacar <dave@arsdigita.com>.
3300         (conaddr): Ditto.
3301
3302 2001-01-09  Dan Harkless  <wget@harkless.org>
3303
3304         * html-url.c: A bunch of fixup of `--page-requisites'-related
3305         comments to reflect Hrvoje's changes to my code when transplanting
3306         it into this new file, to fix spelling mistakes, to clarify, etc.
3307
3308         * url.c (write_backup_file): Clarified a comment.
3309         (str_url): Henrik van Ginhoven pointed out on the list that we
3310         shouldn't give away the number of characters in the password by
3311         replacing each character with a 'x'.  Use "<password>" instead.
3312
3313         * ftp.c (ftp_retrieve_dirs): The bug where recursion into FTP
3314         directories didn't work if logging in put you in a directory other
3315         than "/" is fixed now.  Removed the comment here warning of the bug.
3316
3317         * main.c (print_help): --continue's description was misleading.
3318         We don't "restart", we "resume".  Also, better to say
3319         "partially-downloaded file" rather than just "existing file".
3320
3321 2001-01-06  Dan Harkless  <wget@harkless.org>
3322
3323         * ChangeLog: The '[Not in 1.6 branch.]'s were decided not to be
3324         the best way to go about my aim.  Removed them in favor of:
3325
3326         * ChangeLog-branches/1.6_branch.ChangeLog: New file.
3327
3328 2001-01-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3329
3330         * url.c (replace_attr): New function, to be used by both
3331         TO_COMPLETE and TO_RELATIVE case in convert_links.
3332         (find_fragment): New function for finding URL fragments.
3333         (replace_attr): Better handle the case where the original string
3334         is not quoted.  Use find_fragment.
3335         (convert_links): Use replace_attr().
3336
3337 2000-12-31  Dan Harkless  <wget@harkless.org>
3338
3339         * ChangeLog: Since this flat file doesn't have multiple branches,
3340         looking at the dates would make you think that things went into
3341         1.6 that actually just went into the 1.7-dev branch.  Added "[Not
3342         in 1.6 branch.]" where appropriate to clarify.
3343
3344 2000-12-30  Dan Harkless  <wget@harkless.org>
3345
3346         * ftp.c, http.c:  Applied Hack Kampbjørn <hack@hackdata.com>'s
3347         patch to deal with h_errno not being defined in netdb.h under Cygwin.
3348
3349 2000-12-18  Csaba Raduly  <csaba.raduly@sophos.com>
3350
3351         * sysdep.h: Include <malloc.h> and <io.h> under Watcom.
3352
3353 2000-12-17  Igor Khristophorov  <igor@atdot.org>
3354
3355         * http.c (check_end): Fix test for '+' or '-'.
3356
3357 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3358
3359         * url.c (parseurl): Rename inner loop var from i to ind to avoid
3360         clash with the function top-level-declared variable i.
3361         (str_url): Likewise, rename inner-loop i to j.
3362
3363         * recur.c (parse_robots): Don't declare LEN at top of function.
3364         (robots_match): Renamed parameter FORBIDDEN to avoid hiding of
3365         global variable.
3366
3367         * main.c (main): Change erroneous use of bitwise and to logical.
3368
3369         * init.c (cmd_address): Don't heap-allocate `sin'; it can be on
3370         the stack because it will be copied to closure.
3371
3372         Thanks to Csaba Raduly's run of PC-LINT over the sources.
3373
3374 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3375
3376         * http.c (basic_authentication_encode): Use xmalloc(), not
3377         malloc().  Thanks to Csaba Raduly's run of PC-LINT over the
3378         sources.
3379
3380 2000-12-17  Csaba Raduly  <csaba.raduly@sophos.com>
3381
3382         * sysdep.h: Test for __EMX__ rather than for EMXOS2 for OS/2
3383         compilation.
3384
3385 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3386
3387         * mswindows.c: Include <errno.h>.
3388
3389         * gen_sslfunc.c: Include <errno.h>.
3390
3391         * ftp-basic.c: Don't attempt to declare errno or h_errno because
3392         they're not used.
3393
3394         * main.c: Include <errno.h> because errno is used.
3395
3396         * ftp.c: Ditto.
3397
3398         * http.c: Include <netdb.h> for h_errno.
3399
3400 2000-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3401
3402         * html-parse.c (advance_declaration): MSVC assert() chokes on
3403         '\"'.  Use '"' instead.
3404
3405 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3406
3407         * utils.c (xfree_real): Removed.
3408         (xfree_debug): Just call free().
3409
3410         * wget.h (xfree): Make it an alias for free.
3411
3412 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3413
3414         * http.c (http_loop): Furthermore, touch output_document only if
3415         it is known to be an existing regular file.
3416
3417 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3418
3419         * ftp.c (ftp_retrieve_list): Ditto.
3420
3421         * http.c (http_loop): Touch output_document if that is used for
3422         output.
3423
3424 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3425
3426         * http.c: Include gen_sslfunc.h after including Wget's headers.
3427         (persistent_available_p): Needed coma before `int ssl'.
3428
3429 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3430
3431         * ftp.c (ftp_loop_internal): Ditto.
3432
3433         * http.c (http_loop): Use it.
3434
3435         * retr.c (sleep_between_retrievals): New function that handles the
3436         logic of opt.wait and opt.waitretry.
3437
3438 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3439
3440         * rbuf.h: Implement only a single version of RBUF_READCHAR, using
3441         rbuf_read_bufferful when the buffer is depleted.
3442
3443         * rbuf.c (rbuf_read_bufferful): New function.
3444
3445 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3446
3447         * gen_sslfunc.h: Use ansi2knr style function declarations.
3448
3449         * gen_sslfunc.c: Reformat according to the GNU coding standards.
3450         More should be done.
3451
3452         * http.c (persistent_available_p): Place the cheap SSL test nearer
3453         the top of the function.
3454         (CLOSE_FINISH, CLOSE_INVALIDATE): Define only one version of each.
3455
3456 2000-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3457
3458         * url.c (init_unsafe_char_table): Reinstate space as an unsafe
3459         char.
3460
3461 2000-12-03  Christian Fraenkel <christian.fraenkel@gmx.net>
3462
3463         * Makefile.in: added gen_sslfunc object
3464         * config.h.in: added HAVE_SSL define
3465         * connect.c: changed select_fd from static int to int
3466         * connect.h: ditto
3467         * gen_sslfunc.h: New file
3468         * gen_sslfunc.c: ditto
3469         * http.c: added HTTPS fuctionality
3470         * retrc.c: ditto
3471         * url.c: ditto
3472         * init.c: added opt.httpsproxy
3473         * options.h: ditto
3474         * rbuf.h: added alternate rbuf struct
3475         * wget.h: added CONSSLERR
3476         * rbuf.c: ditto
3477
3478         * http.c: Added HTTPS fuctionality.
3479
3480         * retrc.c: Ditto.
3481
3482         * url.c: Ditto.
3483
3484         * init.c: Added opt.httpsproxy.
3485
3486         * options.h: Ditto.
3487
3488         * rbuf.h: Added alternate rbuf struct.
3489
3490         * wget.h: Added CONSSLERR.
3491
3492         * rbuf.c: Ditto.
3493
3494 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3495
3496         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
3497         "ignore_perms" to ignore file and directory permissions for
3498         Windows NT FTP server listings.
3499         (ftp_parse_winnt_ls): New function.
3500         (ftp_parse_ls): Parses UNIX and Windows NT listings
3501         separately. Simple heuristics for distinguishing between UNIX and
3502         MS-DOS-like FTP listing provided by Windows NT FTP service.
3503
3504 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3505
3506         * ftpparse.c, ftpparse.h: New files.
3507
3508         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
3509         only. Use ftp_parse_nonunix_ls otherwise.
3510         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
3511         exotic FTP servers.
3512
3513         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
3514         FTP servers.
3515
3516         * ftp.c: New static wariables host_type, pwd, and pwd_len.
3517         (getftp): Support for VMS. Support for FTP servers that do not
3518         place you in the root directory after login.
3519         (ftp_retrieve_list): VMS is silent about the real file size, issue
3520         a more appropriate message.
3521         (ftp_get_listing): Pass host_type to ftp_parse_ls.
3522
3523         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
3524
3525 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3526
3527         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
3528         "ignore_perms" to ignore file and directory permissions for
3529         Windows NT FTP server listings.
3530         (ftp_parse_winnt_ls): New function.
3531         (ftp_parse_ls): Parses UNIX and Windows NT listings
3532         separately. Simple heuristics for distinguishing between UNIX
3533         and MS-DOS-like FTP listing provided by Windows NT FTP service.
3534
3535 2000-11-29  John Summerfield  <summer@OS2.ami.com.au>
3536
3537         * netrc.c (parse_netrc): Get rid of line ending.
3538
3539 2000-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
3540
3541         * ftp.c (ftp_retrieve_list): Undo typo "fix" until resolution by
3542         Dan.
3543
3544 2000-11-24  Karl Eichwalder  <ke@suse.de>
3545
3546         * main.c (print_help): Untabify.
3547
3548 2000-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
3549
3550         * utils.c (xrealloc_debug): Do the unregister/register thing only
3551         if the pointer has actually changed.
3552         (xmalloc_real): Declare `static' in DEBUG_MALLOC builds.
3553         (xfree_real): Ditto.
3554         (xrealloc_real): Ditto.
3555         (xstrdup_real): Ditto.
3556
3557 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
3558
3559         * ftp.c (getftp): ftp_getaddress() returns a malloc'ed copy of the
3560         string; no need to strdup() it.
3561         (getftp): Make pwd_len a local variable.
3562         (ftp_loop): Free PWD before returning.
3563
3564         * init.c (cleanup): Free opt.ftp_pass only if it's non-NULL.
3565
3566 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
3567
3568         * all: Use xfree() instead of free.
3569
3570         * utils.c (xfree): New function.
3571
3572 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
3573
3574         * url.c (convert_links): HTML-quote the converted string.
3575
3576         * utils.c (html_quote_string): Move here from ftp-ls.c
3577         (html_quote_string): Make non-static; declare in utils.h.
3578         (html_quote_string): Convert SP to &#32;.
3579
3580 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
3581
3582         * ftp.c (getftp): Reformat Jan's code according to GNU coding
3583         standards; remove (debugging?) printf's; use '\0' for the ASCII
3584         zero character.  Use alloca() instead of malloc() for
3585         inter-function temporary allocations.
3586
3587 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3588
3589         * ftpparse.c, ftpparse.h: New files.
3590
3591         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
3592         only. Use ftp_parse_nonunix_ls otherwise.
3593         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
3594         exotic FTP servers.
3595
3596         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
3597         FTP servers.
3598
3599         * ftp.c: New static wariables host_type, pwd, and pwd_len.
3600         (getftp): Support for VMS. Support for FTP servers that do not
3601         place you in the root directory after login.
3602         (ftp_retrieve_list): VMS is silent about the real file size, issue
3603         a more appropriate message.
3604         (ftp_get_listing): Pass host_type to ftp_parse_ls.
3605
3606         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
3607
3608 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
3609
3610         * hash.c (hash_table_put): Don't overwrite deleted mappings.
3611
3612 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
3613
3614         * hash.c (find_mapping): New function.
3615         (hash_table_get): Use it.
3616         (hash_table_get_pair): Ditto.
3617         (hash_table_exists): Ditto.
3618         (hash_table_remove): Ditto.
3619         (hash_table_remove): Really delete the entry if the mapping
3620         following LOCATION is empty.
3621
3622         * utils.c (string_set_add): Check whether the element has existed
3623         before.
3624
3625         * hash.c (hash_table_get_pair): New function.
3626
3627 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
3628
3629         * http.c (http_process_type): Ignore trailing whitespace; use
3630         strdupdelim().
3631
3632         * recur.c (recursive_retrieve): Use the new `convert' field.
3633         (convert_all_links): Ditto.
3634         (convert_all_links): Don't respect meta_disallow_follow.
3635
3636         * html-url.c (handle_link): Fill out link_relative_p and
3637         link_complete_p.
3638
3639         * url.h (struct _urlpos): Make elements more readable.
3640
3641         * recur.c (recursive_retrieve): Call slist_prepend instead of
3642         slist_append.
3643         (convert_all_links): Call slist_nreverse before iterating through
3644         urls_html.
3645
3646         * utils.c (slist_prepend): New function.
3647         (slist_nreverse): Ditto.
3648
3649 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
3650
3651         * http.c (check_end): Constify.
3652
3653 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
3654
3655         * http.c (http_loop): If username and password are known, try the
3656         `Basic' authentication scheme by default.
3657
3658         * connect.h: Declare test_socket_open.
3659
3660 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
3661
3662         * version.c: Bump version from 1.5.3+dev to 1.7-dev.
3663
3664 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
3665
3666         * http.c (gethttp): Don't use the return value of sprintf().
3667         (gethttp): Inhibit keep-alive if opt.http_keep_alive is 0.
3668
3669 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
3670
3671         * recur.c (recursive_retrieve): Print the "so we don't load"
3672         debugging message only if we really don't load.
3673
3674         * http.c (gethttp): Inhibit keep-alive if proxy is being used.
3675         (gethttp): Don't request keep-alive if keep-alive is inhibited.
3676
3677 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3678
3679         * http.c (gethttp): Make the HTTP persistent connections more
3680         robust.
3681
3682 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3683
3684         * retr.c (get_contents): If use_expected, make sure that the
3685         appropriate amount of data is being read.
3686
3687         * http.c (gethttp): Check for both `Keep-Alive: ...' and
3688         `Connection: Keep-Alive'.
3689
3690         * wget.h (DEBUGP): Call debug_logprintf only if opt.debug is
3691         turned on.
3692
3693 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3694
3695         * http.c (connection_available_p): Use it.
3696
3697         * connect.c (test_socket_open): New function.
3698
3699         * http.c (gethttp): Support persistent connections.  Based on the
3700         ideas, and partly on code, by Sam Horrocks <sam@daemoninc.com>.
3701         (register_persistent): New function.
3702         (connection_available_p): Ditto.
3703         (invalidate_connection): Ditto.
3704
3705 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3706
3707         * url.c (convert_links): Handle UREL2ABS case.
3708
3709         * recur.c (recursive_retrieve): Instead of the list
3710         urls_downloaded, use hash tables dl_file_url_map and
3711         dl_url_file_map.
3712         (convert_all_links): Use them to retrieve data.
3713
3714         * host.c (clean_hosts): Free the hash tables.
3715
3716         * main.c (private_initialize): Call host_init().
3717
3718         * host.c (store_hostaddress): Use a saner, hash table-based data
3719         model.
3720         (realhost): Ditto.
3721         (host_init): Initialize the hash tables.
3722
3723 2000-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3724
3725         * utils.c (slist_append): Eviscerate NOSORT.  Hash tables are now
3726         used for what the sorted slists used to be used for.
3727         (slist_contains): Don't rely on the list being sorted.
3728         (slist_append): Simplify the code.
3729
3730         * recur.c (recursive_cleanup): Use free_string_set.
3731
3732         * utils.c (string_set_add, string_set_exists, string_set_free):
3733         New functions for easier freeing of hash tables whose keys are
3734         strdup'ed strings.
3735
3736         * recur.c (recursive_retrieve): Use the hash table functions for
3737         storing undesirable URLs.
3738
3739         * hash.c: New file.
3740
3741 2000-11-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3742
3743         * main.c (private_initialize): Call url_init.
3744         (main): Call private_initialize.
3745
3746         * url.c (unsafe_char_table): New table.
3747         (UNSAFE_CHAR): Use it.
3748         (init_unsafe_char_table): New function.
3749         (url_init): New function; call init_unsafe_char_table.
3750
3751 2000-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3752
3753         * mswindows.h: Define snprintf and vsnprintf to _snprintf and
3754         _vsnprintf respectively.
3755
3756 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
3757
3758         * config.h.in: Do the _XOPEN_SOURCE and _SVID_SOURCE things only
3759         on Linux.
3760
3761 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
3762
3763         * html-url.c (handle_link): Handle HTML fragment identifiers.
3764
3765         * recur.c (recursive_retrieve): If norobot info is respected and
3766         the file is specified not to be followed by robots, respect that.
3767
3768         * html-url.c (collect_tags_mapper): Handle <meta name=robots
3769         content=X>.  For us the important cases are where X is NONE or
3770         where X contains NOFOLLOW.
3771         (get_urls_html): Propagate that information to the caller.
3772
3773 2000-11-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3774
3775         * url.c (convert_links): Unlink the file we might be reading from
3776         before writing to it.
3777         (convert_links): Use alloca instead of malloc for
3778         filename_plus_orig_suffix.
3779
3780 2000-11-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3781
3782         * host.c (realhost): Add HOST to the list with quality==0 only if
3783         it wasn't already there.
3784         Based on analysis by Lu Guohan <feng@public.bjnet.edu.cn>.
3785
3786 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3787
3788         * url.c (get_urls_file): Ditto.
3789         (convert_links): Ditto.
3790
3791         * html-url.c (get_urls_html): Use read_file() instead of
3792         load_file().
3793
3794         * utils.c (read_file): New function, instead of the old
3795         load_file().
3796         (read_file_free): Ditto.
3797
3798         * url.c (findurl): Search only for the supported protocols.
3799         (convert_links): Use fwrite() when writing out a region of
3800         characters.
3801
3802 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3803
3804         * ftp-ls.c: Move html_quote_string and ftp_index here.
3805
3806         * url.c: Remove get_urls_html, since that's now in html-url.c.
3807
3808         * html-url.c: New file.
3809
3810         * html-parse.c: New file.
3811
3812 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3813
3814         * init.c (run_wgetrc): Don't bother killing off '\r' since
3815         pars_line() skips whitespace at end of line anyway.
3816         (parse_line): Oops, it didn't.  Now it does.
3817
3818         * recur.c (parse_robots): Ditto here.
3819
3820         * ftp-ls.c (ftp_parse_unix_ls): Kill off the newline character
3821         manually because read_whole_line no longer does.
3822
3823         * utils.c (read_whole_line): Rewrite to: a) use less memory
3824         (reallocates to needed size after work), b) work faster -->
3825         fgets() instead of getc, c) be more correct --> doesn't kill the
3826         newline character at the end of line.
3827
3828 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3829
3830         * init.c (comind): Initialize MAX to array size - 1.
3831
3832 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3833
3834         * url.c (construct): Changed last_slash[-1] to *(last_slash - 1).
3835         Suggested by Edward J. Sabol.
3836
3837 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3838
3839         * url.c (construct): Handle the case where host name is not
3840         followed by a slash.
3841
3842 2000-11-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3843
3844         * init.c: commands[] need to be sorted!  ("base" wasn't.)
3845
3846 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3847
3848         * wget.h (DO_REALLOC_FROM_ALLOCA): Use braces to disambiguate
3849         `if'.
3850
3851 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3852
3853         * url.c (construct): Insert unneeded initialization for the
3854         compiler to shut up.
3855
3856         * config.h.in: Define _XOPEN_SOURCE to 500 to get the prototype
3857         for strptime() (*duh*).  Define _SVID_SOURCE to get S_IFLNK which
3858         otherwise gets lost when you define _XOPEN_SOURCE.
3859
3860         * utils.c (touch): Include the file name in the error message.
3861         From Debian.
3862
3863 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3864
3865         * log.c (logvprintf): Use vsnprintf() in all cases.  If necessary,
3866         resize the buffer to fit the formated message.  That way, messages
3867         of arbitrary size may be printed.
3868         (logvprintf): Use saved_append() to optionally log the last
3869         several lines of output.
3870         (logputs): Ditto.
3871         (log_close): Adapt to new data structures.
3872         (log_dump): Ditto.
3873         (redirect_output): Print messages to stderr, not to stdout.
3874
3875         * log.c (saved_append_1): New function.  Replaces the old logging
3876         system ("log all output until 10M characters") with a new, much
3877         more reasonable one ("log last screenful of text").
3878         (saved_append): New function; call saved_append_1.
3879         (free_log_line): New function.
3880
3881 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3882
3883         * url.c (construct): Fix comment.
3884         (find_last_char): Document.
3885
3886 2000-11-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3887
3888         * snprintf.c: New file.
3889
3890 2000-11-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3891
3892         * wget.h: If HAVE_STDARG_H is not defined, don't declare argument
3893         types to logprintf() and debug_logprintf().
3894
3895 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3896
3897         * ftp.c (ftp_loop_internal): Hide the password from the URL when
3898         printing non-verbose.  Problem spotted by Dariusz Mlynarczyk
3899         <darekm@bydg.lomac.com.pl>.
3900
3901 2000-11-02  Junio Hamano  <junio@twinsun.com>
3902
3903         * ftp-basic.c (ftp_login): Make comparison case-insensitive.
3904
3905 2000-11-02  Tyler Riddle  <triddle@liquidmarket.com>
3906
3907         * http.c (known_authentication_scheme_p): Recognize NTML
3908         authentication.
3909         (create_authorization_line): Treat NTML the same as `Basic'.
3910
3911 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3912
3913         * retr.c (retrieve_url): Free url before returning.
3914         (retrieve_url): Free mynewloc before returning.
3915         Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
3916
3917 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3918
3919         * url.c (parseurl): Remove possible reading past the end of
3920         sup_protos[].  Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
3921
3922 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3923
3924         * main.c (main): In case of opt.downloaded overflowing, print
3925         <overflow> instead of a totally bogus random value.
3926
3927         * retr.c (retrieve_from_file): Ditto.
3928
3929         * recur.c (recursive_retrieve): Ditto.
3930
3931         * main.c (main): Ditto.
3932
3933         * http.c (http_loop): Ditto.
3934
3935         * ftp.c (ftp_loop_internal): Use downloaded_increase() instead of
3936         `+=', and downloaded_exceeds_quota() instead of the simple-minded
3937         check.
3938         (ftp_retrieve_list): Ditto.
3939         (ftp_retrieve_dirs): Ditto.
3940         (ftp_retrieve_glob): Ditto.
3941
3942         * retr.c (downloaded_increase): New function.  Notice overflows of
3943         opt.downloaded.
3944         (downloaded_exceeds_quota): Make sure that opt.downloaded is not
3945         used if it overflowed.
3946
3947         * options.h (struct options): New member downloaded_overflow.
3948
3949 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3950
3951         * wget.h (enum): Remove extra space after last enumeration.
3952
3953 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3954
3955         * main.c (main): Use legible_very_long() for printing
3956         opt.downloaded.
3957
3958         * utils.c (legible_1): New function that operates on strings and
3959         does the brunt of legible()'s work.
3960         (legible): Use legible_1().
3961         (legible_very_long): New function; dump the argument with
3962         sprintf(), and call legible_1().
3963
3964         * options.h (struct options): Use VERY_LONG_TYPE for
3965         opt.downloaded.
3966
3967         * sysdep.h (VERY_LONG_TYPE): Define it to have a 64-bit or greater
3968         type.
3969
3970         * config.h.in: Make sure that SIZEOF_LONG and SIZEOF_LONG_LONG get
3971         defined.  Define HAVE_LONG_LONG if long long is available.
3972
3973 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3974
3975         * utils.c (long_to_string): Update with a later, better version.
3976
3977 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3978
3979         * url.c (path_simplify_with_kludge): New function.
3980         (path_simplify_with_kludge): Disable it.  Instead...
3981         (parse_dir): ...make sure that at this point the right thing is
3982         done, i.e. that "query" part of the URL (?...) is always assigned
3983         to the file, never to the directory portion of the path.
3984
3985 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3986
3987         * retr.c (retrieve_url): Detect redirection cycles.
3988
3989 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3990
3991         * url.c (get_urls_html): Decode HTML entities using
3992         html_decode_entities.
3993
3994         * html.c (htmlfindurl): Don't count the `#' in numeric entities
3995         (&#NNN;) as an HTML fragemnt.
3996         (html_decode_entities): New function.
3997
3998 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3999
4000         * html.c (htmlfindurl): Fix recognition of # HTML fragments.
4001
4002 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4003
4004         * url.c (construct): Rewritten for clarity.  Avoids the
4005         unnecessary copying and stack-allocation the old version
4006         performed.
4007
4008 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4009
4010         * ftp.c (getftp): Ditto.
4011
4012         * http.c (gethttp): Rewind the stream when retrying from scratch.
4013
4014 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
4015
4016         * retr.c (retrieve_url): Use url_concat() to handle relative
4017         redirections instead of /ad hoc/ code.
4018
4019         * url.c (url_concat): New function encapsulating weird
4020         construct().
4021         (urllen_http_hack): New function.
4022         (construct): When constructing new URLs, recognize that `?' does
4023         not form part of the file name in HTTP.
4024
4025 2000-10-13  Adrian Aichner  <adrian@xemacs.org>
4026
4027         * retr.c: Add msec timing support for WINDOWS.
4028         * retr.c (reset_timer): GetSystemTime() on WINDOWS.
4029         * retr.c (elapsed_time): Calculate delta time to msec on WINDOWS.
4030
4031 2000-10-27  Dan Harkless  <wget@harkless.org>
4032
4033         * retr.c (retrieve_url): Manually applied T. Bharath
4034         <TBharath@responsenetworks.com>'s patch to get wget to grok
4035         illegal relative URL redirects.  Reformatted and re-commented it.
4036
4037 2000-10-23  Dan Harkless  <wget@harkless.org>
4038
4039         * connect.c (make_connection and bindport): Manually applied Rob
4040         Mayoff <mayoff@dqd.com>'s 1.5.3 patch to add --bind-address,
4041         changing coding style to GNU's.
4042
4043         * ftp.c (ftp_loop_internal): --delete-after wasn't implemented for
4044         files downloaded via FTP.  Per a comment, .listing files were not
4045         counted towards number of bytes and files downloaded because they're
4046         deleted anyway.  Well, they aren't under -nr, so count them then.
4047
4048         * init.c: Manually applied Rob Mayoff's 1.5.3 patch to add
4049         --bind-address, alphabetizing, changing coding style to GNU's,
4050         commenting, and renaming cmd_ip_address() to cmd_address() to
4051         imply hostnames also okay.
4052
4053         * main.c (main): --delete-after didn't delete the root of the
4054         tree.  Ignore --convert-links if --delete-after was specified.
4055         Manually applied Rob Mayoff's 1.5.3 patch to add --bind-address,
4056         fixing duplicate use of added-since-1.5.3 case value.
4057         (print_help): Clarified that --delete-after deletes local files.
4058         Rob forgot to add a line for his new --bind-address option.
4059
4060         * options.h (struct options): Manually applied Rob Mayoff's patch
4061         to add --bind-address (bind_address structure member).
4062
4063         * recur.c (recursive_retrieve): Improved comment; added DEBUGP().
4064         Ignore --convert-links if --delete-after was specified.
4065
4066         * retr.c (retrieve_from_file): Just added a DEBUGP().
4067
4068 2000-10-19  Dan Harkless  <wget@harkless.org>
4069
4070         * ftp.c (ftp_loop_internal): downloaded_file() enumerators changed.
4071         (getftp): Applied Piotr Sulecki <Piotr.Sulecki@ios.krakow.pl>'s
4072         patch to work around FTP servers that incorrectly respond to the
4073         "REST" command with the remaining size rather than the total file size.
4074
4075         * http.c (gethttp): Improved a comment and added code to tack on
4076         ".html" to text/html files without that extension when -E specified.
4077         (http_loop): Use new downloaded_file() enumerators and deal with
4078         the case of gethttp() called xrealloc() on u->local.
4079
4080         * init.c (commands): Added new "htmlextension" command.
4081         Also renamed John Daily's cmd_quad() to the more descriptive
4082         cmd_lockable_boolean(), alpha-sorted the CMD_DECLARE()s and
4083         removed duplicate cmd_boolean() declaration.
4084
4085         * main.c (print_help): Added my new -E / --html-extension option.
4086         (main): Undocumented --email-address option previously used -E synonym.
4087         Stole it away for the much more deserving --html-extension's use.
4088
4089         * options.h (struct options): Added html_extension field.
4090
4091         * url.c (convert_links): URL X that we saved as X.html locally due
4092         to -E needs to be backed up as X.orig, not X.html.orig.  Added comments.
4093         (downloaded_file): Now remembers if we added .html extension to a file.
4094
4095         * url.h (downloaded_file_t): Added extra enumerators to support above.
4096         (downloaded_file): Now takes and returns a downloaded_file_t.
4097
4098         * wget.h (unnamed "dt" enum): Added ADDED_HTML_EXTENSION enumerator.
4099
4100 2000-10-09  Dan Harkless  <wget@harkless.org>
4101
4102         * html.c (htmlfindurl): Added unneeded initialization to quiet warning.
4103
4104         * main.c (print_help): Clarified what --retr-symlinks does.
4105
4106 2000-09-15  John Daily  <jdaily@cyberdude.com>
4107
4108         * init.c: Add support for "always" and "never" values to allow
4109         .wgetrc to override commandline (useful e.g. with .pm files
4110         calling `wget --passive-ftp' when your firewall doesn't allow that).
4111
4112         * ftp.c (getftp): passive_ftp is first option to support always/never.
4113
4114 2000-08-30  Dan Harkless  <wget@harkless.org>
4115
4116         * ftp.c (ftp_retrieve_list): Use new INFINITE_RECURSION #define.
4117
4118         * html.c: htmlfindurl() now takes final `dash_p_leaf_HTML' parameter.
4119         Wrapped some > 80-column lines.  When -p is specified and we're at a
4120         leaf node, do not traverse <A>, <AREA>, or <LINK> tags other than
4121         <LINK REL="stylesheet">.
4122
4123         * html.h (htmlfindurl): Now takes final `dash_p_leaf_HTML' parameter.
4124
4125         * init.c: Added new -p / --page-requisites / page_requisites option.
4126
4127         * main.c (print_help): Clarified that -l inf and -l 0 both allow
4128         infinite recursion.  Changed the unhelpful --mirrior description
4129         to simply give the options it's equivalent to.  Added new -p option.
4130         (main): Added some comments; handle new -p / --page-requisites.
4131
4132         * options.h (struct options): Added new page_requisites field.
4133
4134         * recur.c: Changed "URL-s" to "URLs" and "HTML-s" to "HTMLs".
4135         Calculate and pass down new `dash_p_leaf_HTML' parameter to
4136         get_urls_html().  Use new INFINITE_RECURSION #define.
4137
4138         * retr.c: Changed "URL-s" to "URLs".  get_urls_html() now takes
4139         final `dash_p_leaf_HTML' parameter.
4140
4141         * url.c: get_urls_html() and htmlfindurl() now take final
4142         `dash_p_leaf_HTML' parameter.
4143
4144         * url.h (get_urls_html): Now takes final `dash_p_leaf_HTML' parameter.
4145
4146         * wget.h: Added some comments and new INFINITE_RECURSION #define.
4147
4148 2000-08-23  Dan Harkless  <wget@harkless.org>
4149
4150         * main.c (print_help): -B / --base was not mentioned.
4151
4152 2000-08-22  Dan Harkless  <wget@harkless.org>
4153
4154         * main.c (print_help): Modified -nc description to mention that it
4155         also prevents the creation of multiple versions of the same file
4156         with ".<number>" suffixes.
4157
4158 2000-07-14  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4159
4160         * retr.c (retrieve_url): Consistently strdup opt.referer when
4161         setting u->referer.
4162
4163 2000-06-09  Dan Harkless  <wget@harkless.org>
4164
4165         * main.c (print_help): --help output for --waitretry was over 80 cols.
4166
4167 2000-06-09  Hrvoje Niksic  <hniksic@iskon.hr>
4168
4169         * url.c (encode_string): Fix comment.
4170         Suggested by Herold Heiko <Heiko.Herold@previnet.it>.
4171
4172 2000-06-01  Const Kaplinsky  <const@ce.cctpu.edu.ru>
4173
4174         * ftp.c (ftp_retrieve_list): Change permissions only on plain
4175         files.
4176
4177 2000-06-01  Hrvoje Niksic  <hniksic@iskon.hr>
4178
4179         * url.c (str_url): Print the port number only if it's different
4180         from the default port number for that protocol.
4181
4182 2000-05-22  Dan Harkless  <wget@harkless.org>
4183
4184         * main.c (print_help): Added --help line for Damir Dzeko
4185         <ddzeko@zesoi.fer.hr>'s until-now-undocumented --referer option.
4186         Removed comments that --referer and --waitretry were undocumented.
4187         Changed "`.wgetrc' command" to "`.wgetrc'-style command" on --help
4188         line for --execute.
4189
4190 2000-05-18  Hrvoje Niksic  <hniksic@iskon.hr>
4191
4192         * ftp.c (getftp): Ditto.
4193
4194         * http.c (gethttp): Check for return value of fclose/fflush.
4195
4196 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
4197
4198         * host.c (store_hostaddress): Instead of shifting ADDR, start
4199         copying from the correct address.
4200
4201 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
4202
4203         * http.c (gethttp): Don't free REQUEST -- it was allocated with
4204         alloca().
4205         Pointed out by Gisle Vanem <gvanem@eunet.no>.
4206
4207 2000-04-04  Dan Harkless  <wget@harkless.org>
4208
4209         * host.c (store_hostaddress): R. K. Owen's patch introduces a
4210         "left shift count >= width of type" warning on 32-bit
4211         architectures.  Got rid of it by tricking the compiler w/ a variable.
4212
4213         * url.c (UNSAFE_CHAR): The macro didn't include all the illegal
4214         characters per RFC1738, namely everything above '~'.  It also
4215         generated a warning on OSes where char =~ unsigned char.  Fixed.
4216
4217 1998-10-17  Hrvoje Niksic  <hniksic@srce.hr>
4218
4219         * http.c (http_process_type): Removed needless strdup(), a memory
4220         leak.
4221
4222 1998-09-25  Hrvoje Niksic  <hniksic@srce.hr>
4223
4224         * html.c (htmlfindurl): Set PH to the first occurrence of `#'.
4225
4226 1998-09-25  Simon Munton  <simonm@m4data.co.uk>
4227
4228         * init.c (wgetrc_file_name): Don't free HOME under Windows.
4229
4230 1998-12-01  "R. K. Owen"  <rkowen@Nersc.GOV>
4231
4232         * host.c (store_hostaddress): Fix for big endian 64-bit machines.
4233
4234 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
4235
4236         * url.c (UNSAFE_CHAR): New macro.
4237         (contains_unsafe): Use it.
4238         (encode_string): Ditto.
4239
4240 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
4241
4242         * main.c (i18n_initialize): Use LC_MESSAGES only if available.
4243
4244 2000-03-31  Hrvoje Niksic  <hniksic@srce.hr>
4245
4246         * Use TOUPPER/TOLOWER.
4247
4248 1998-12-22  Alexander V. Lukyanov  <lav@yars.free.net>
4249
4250         * ftp-opie.c (btoe): Zero-terminate OSTORE.
4251
4252 2000-03-21  Hrvoje Niksic  <hniksic@iskon.hr>
4253
4254         * wget.h (DO_REALLOC_FROM_ALLOCA): Ditto.
4255
4256         * sysdep.h (ISALNUM): New macro.
4257         (TOLOWER): Ditto.
4258         (TOUPPER): Ditto.
4259
4260 2000-03-10  Dan Harkless  <wget@harkless.org>
4261
4262         * html.c (idmatch): Implemented checking of my new --follow-tags
4263         and --ignore-tags options.
4264
4265         * init.c (commands): Added comment reminding people adding new
4266         entries doing allocation to add corresponding freeing in cleanup().
4267         (commands): Added new followtags and ignoretags commands.
4268         (cleanup): Free storage for new followtags and ignoretags.
4269
4270         * main.c: Use of "comma-separated list" was random -- normalized
4271         it.  Did some alphabetization.  Added comments pointing out
4272         "Options without arguments" and "Options accepting an argument"
4273         sections of long_options[].  Added new options --follow-tags and
4274         -G / --ignore-tags.  Added comment that Damir's --referer is
4275         currently undocumented.  Added comment that Heiko's --waitretry is
4276         partially undocumented (mentioned in --help but not in
4277         wget.texi).  Moved improperly sorted 24, 129, and 'G' cases.
4278
4279         * options.h (struct options): Added new fields follow_tags and
4280         ignore_tags.
4281
4282         * wget.h: Added "#define EQ 0" so we can say "strcmp(a, b) == EQ".
4283
4284 2000-03-02  Dan Harkless  <wget@harkless.org>
4285
4286         * ftp.c (ftp_loop_internal): Heiko introduced "suggest explicit
4287         braces to avoid ambiguous `else'" warnings.  Eliminated them.
4288
4289         * http.c (gethttp): Dan Berger's query string patch is totally
4290         bogus.  If you have two different URLs, gen_page.cgi?page1 and
4291         get_page.cgi?page2, they'll both be saved as get_page.cgi and the
4292         second will overwrite the first.  Also, parameters to implicit
4293         CGIs, like "http://www.host.com/db/?2000-03-02" cause the URLs to
4294         be printed with trailing garbage characters, and could seg fault.
4295         Backing out the patch, which Dan B. informed me by email was just
4296         a kludge to download StarOffice from Sun made necessary due to
4297         wget's unconditional escaping of certain characters (room for an
4298         option there?).
4299         (http_loop): Heiko introduced "suggest explicit braces to avoid
4300         ambiguous `else'" warnings.  Eliminated them.
4301
4302         * main.c: Heiko's --wait / --waitretry backwards compatibility
4303         code looks to have been totally untested -- automatic variable
4304         'wr' was used without being initialized, and a long int was passed
4305         into setval()'s char* val parameter.
4306
4307         * recur.c (parse_robots): Applied Edward J. Sabol
4308         <sabol@alderaan.gsfc.nasa.gov>'s patch for Guan Yang's reported
4309         problem with "User-agent:<space>*<space>" lines in robots.txt.
4310
4311         * url.c (parseurl, str_url): Removing Dan Berger's code (see
4312         http.c above for explanation).
4313
4314 1999-08-25  Heiko Herold  <Heiko.Herold@previnet.it>
4315
4316         * ftp.c: Respect new option waitretry.
4317
4318 2000-01-30  Damir Dzeko  <ddzeko@zesoi.fer.hr>
4319
4320         * http.c (gethttp): Send custom Referer, if required.
4321
4322 1999-09-24  Charles G Waldman  <cgw@fnal.gov>
4323
4324         * netrc.c (parse_netrc): Allow passwords to contain spaces.
4325
4326         * netrc.c (parse_netrc): New function.
4327
4328 1999-09-17  Dan Berger  <dberger@ix.netcom.com>
4329
4330         * http.c (gethttp): Send it.
4331
4332         * url.c (parseurl): Detect query string in HTTP URL-s.
4333         (str_url): Print it.
4334
4335 2000-03-02  HIROSE Masaaki  <hirose31@t3.rim.or.jp>
4336
4337         * html.c (html_allow): Add <link href=...> and <script src=...>.
4338
4339 1999-05-02  andrew deryabin  <djsf@softhome.net>
4340
4341         * http.c (gethttp): Specify port in `Host' header only if it's
4342         different from 80.
4343
4344 1998-11-03  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
4345
4346         * recur.c (recursive_retrieve): If a finite maximum depth is
4347         specified, and we're are already at that depth, don't download the
4348         HTML file for parsing.
4349
4350 2000-03-01  Dan Harkless  <wget@harkless.org>
4351
4352         * ftp.c (ftp_loop_internal): Call new downloaded_file() function,
4353         even though we don't do conversion on HTML files retrieved via
4354         FTP, so _current_ usage of downloaded_file() makes this call unneeded.
4355         (ftp_retrieve_list): Added a comment saying where we need to
4356         stat() a .orig file if FTP'd HTML file conversion is ever implemented.
4357         (ftp_retrieve_list): "Local file '%s' is more recent," is sometimes
4358         a lie -- reworded as "Server file no newer than local file '%s' --".
4359
4360         * http.c (http_loop): Fixed a typo and clarified a comment.
4361         (http_loop): When -K and -N are specified together, compare size
4362         and timestamp of server file X against local file X.orig (if
4363         extant) rather than converted local file X.
4364         (http_loop): "Local file '%s' is more recent," is sometimes a lie
4365         -- reworded as "Server file no newer than local file '%s' --".
4366         (http_loop): Call new downloaded_file() function to prevent
4367         wrongful overwriting of .orig file when -N is specified.
4368
4369         * url.c (convert_links): When -K specified, only rename X to
4370         X.orig if downloaded_file() returns TRUE.  Otherwise when we skip
4371         file X due to -N, we clobber an X.orig from a previous invocation.
4372         (convert_links): Call the failsafe xstrdup(), not the real strdup().
4373         (convert_links): Added a note asking anyone who understands how
4374         multiple URLs can correspond to a single file to comment it.
4375         (downloaded_file): Added this new function.
4376
4377         * url.h (downloaded_file): Added prototype for this new function
4378         as well as its downloaded_file_t enum type.
4379
4380         * wget.h (boolean): Added this new typedef and TRUE and FALSE #defines.
4381
4382 2000-02-29  Dan Harkless  <wget@harkless.org>
4383
4384         * version.c: Upped version to developer-only "1.5.3+dev".
4385
4386 2000-02-18  Dan Harkless  <wget@harkless.org>
4387
4388         * init.c (backup_converted): Added this new option.
4389
4390         * main.c (-K / --backup-converted): Added this new option.
4391
4392         * options.h (backup_converted): Added this new option.
4393
4394         * url.c (convert_links): When backup_converted is specified, save
4395         file X as X.orig before converting.
4396
4397         * url.h (urlpos): Fixed typo -- said "Rekative" instead of "Relative".
4398
4399 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
4400
4401         * version.c: Wget 1.5.3 is released.
4402
4403 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
4404
4405         * host.c (ftp_getaddress): Don't warn when reverse-lookup of local
4406         address doesn't yield FQDN.
4407
4408 1998-09-21  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
4409
4410         * cmpt.c (strerror): Fix declaration of sys_errlist.
4411
4412 1998-09-11  Hrvoje Niksic  <hniksic@srce.hr>
4413
4414         * main.c (main): Don't use an array subscript as the first
4415         argument to STRDUP_ALLOCA.
4416         From Kaveh R. Ghazi.
4417
4418 1998-09-11  Szakacsits Szabolcs  <szaka@sienet.hu>
4419
4420         * html.c (htmlfindurl): Download table background.
4421
4422 1998-09-11  Hans Grobler  <grobh@conde.ee.sun.ac.za>
4423
4424         * init.c (parse_line): Would free *com before allocating it.
4425         (parse_line): Would free com instead of *com.
4426
4427 1998-09-10  Howard Gayle  <howard@fjst.com>
4428
4429         * url.c (get_urls_html): Would drop the last character of the
4430         link.
4431
4432 1998-09-10  Hrvoje Niksic  <hniksic@srce.hr>
4433
4434         * http.c (http_loop): Don't print status code if quiet.
4435
4436 1998-09-10  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
4437
4438         * log.c: Use <stdarg.h> only when __STDC__.
4439
4440 1998-09-10  Adam D. Moss  <adam@foxbox.org>
4441
4442         * html.c (htmlfindurl): Download <layer src=...>.
4443
4444 1998-09-10  Howard Gayle  <howard@fjst.com>
4445
4446         * ftp.c (ftp_retrieve_list): Don't update the time stamp of a file
4447         not retrieved.
4448
4449 1998-06-27  Hrvoje Niksic  <hniksic@srce.hr>
4450
4451         * utils.c: Include <libc.h> on NeXT.
4452
4453 1998-06-26  Heinz Salzmann  <heinz.salzmann@intermetall.de>
4454
4455         * url.c (get_urls_html): Fix calculation of URL position.
4456
4457 1998-06-23  Hrvoje Niksic  <hniksic@srce.hr>
4458
4459         * version.c: Wget 1.5.2 is released.
4460
4461 1998-06-23  Dave Love  <d.love@dl.ac.uk>
4462
4463         * ftp.c, init.c, netrc.c: Include errno.h.
4464
4465         * http.c: Include errno.h and time header.
4466
4467         * Makefile.in (exext): Define.
4468         (install.bin, uninstall.bin): Use it.
4469
4470 1998-06-21  Hrvoje Niksic  <hniksic@srce.hr>
4471
4472         * http.c (http_loop): Don't attempt to compare local and remote
4473         sizes if the remote size is unknown.
4474
4475 1998-06-16  Hrvoje Niksic  <hniksic@srce.hr>
4476
4477         * url.c (get_urls_html): Use malloc() instead of alloca in the
4478         loop.
4479
4480 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
4481
4482         * version.c: Wget 1.5.2-b4 is released.
4483
4484 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
4485
4486         * url.c (get_urls_html): Ignore spaces before and after the URI.
4487
4488 1998-06-08  Wanderlei Antonio Cavassin  <cavassin@conectiva.com.br>
4489
4490         * ftp.c (getftp): Translate `done'.
4491
4492 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
4493
4494         * version.c: Wget 1.5.2-b3 is released.
4495
4496 1998-06-06  Alexander Kourakos  <awk@bnt.com>
4497
4498         * init.c (cleanup): Close dfp, don't free it.
4499
4500 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
4501
4502         * utils.c (make_directory): Twiddle.
4503
4504         * config.h.in: Added template for access().
4505
4506 1998-06-05  Mathieu Guillaume  <mat@cythere.com>
4507
4508         * html.c (htmlfindurl): Download <input src=...>
4509
4510 1998-06-03  Hrvoje Niksic  <hniksic@srce.hr>
4511
4512         * utils.c (file_exists_p): Use access() with two arguments.
4513
4514 1998-05-27  Martin Kraemer  <Martin.Kraemer@mch.sni.de>
4515
4516         * netrc.c (parse_netrc): Correct logic.
4517
4518 1998-05-27  Hrvoje Niksic  <hniksic@srce.hr>
4519
4520         * ftp.c (getftp): Added `break'; suggested by Lin Zhe Min
4521         <ljm@ljm.wownet.net>.
4522
4523 1998-05-24  Hrvoje Niksic  <hniksic@srce.hr>
4524
4525         * version.c: Wget 1.5.2-b2 is released.
4526
4527 1998-05-18  Juan Jose Rodriguez  <jcnsoft@jal1.telmex.net.mx>
4528
4529         * mswindows.h: Don't translate mkdir to _mkdir under Borland.
4530
4531 1998-05-17  Hrvoje Niksic  <hniksic@srce.hr>
4532
4533         * retr.c (elapsed_time): Return correct value when
4534         HAVE_GETTIMEOFDAY is undefined.
4535
4536 1998-05-13  Hrvoje Niksic  <hniksic@srce.hr>
4537
4538         * version.c: Wget 1.5.2-b1 is released.
4539
4540 1998-05-08  Hrvoje Niksic  <hniksic@srce.hr>
4541
4542         * getopt.c (_getopt_internal): Use exec_name instead of argv[0].
4543         (_getopt_internal): Don't translate `#if 0'-ed strings.
4544
4545 1998-05-06  Douglas E. Wegscheid  <wegscd@whirlpool.com>
4546
4547         * mswindows.c (ws_handler): Use fork_to_background().
4548
4549 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
4550
4551         * version.c: Wget 1.5.1 is released.
4552
4553 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
4554
4555         * http.c (parse_http_status_line): Avoid `minor' and `major'
4556         names.
4557
4558 1998-05-02  Hrvoje Niksic  <hniksic@srce.hr>
4559
4560         * utils.c (mkdirhier): Renamed to make_directory.
4561
4562 1998-05-01  Hrvoje Niksic  <hniksic@srce.hr>
4563
4564         * mswindows.c (fork_to_background): Define under Windows.
4565
4566         * utils.c (fork_to_background): New function.
4567
4568         * html.c (htmlfindurl): Removed rerdundant casts.
4569
4570 1998-05-01  Douglas E. Wegscheid  <wegscd@whirlpool.com>
4571
4572         * mswindows.c (ws_mypath): Cache the path.
4573
4574 1998-04-30  Douglas E. Wegscheid  <wegscd@whirlpool.com>
4575
4576         * ftp.h: Prefix enum ftype members with FT_.
4577
4578         * ftp-ls.c, ftp.c, html.h: Adjust accordingly.
4579
4580         * mswindows.h: Use stat under Borland, _stat under MSVC.
4581
4582 1998-04-28  Hrvoje Niksic  <hniksic@srce.hr>
4583
4584         * http.c (known_authentication_scheme_p): New function.
4585         (gethttp): Handle authorization more correctly.
4586
4587         * ftp-basic.h: Removed.
4588
4589         * cmpt.h: Removed.
4590
4591         * utils.c: Include <unistd.h> before <pwd.h>; needed under SunOS
4592         with gcc 2.8.
4593         (numdigit): Use `while' loop.
4594
4595         * http.c (create_authorization_line): Detect authentication
4596         schemes case-insensitively.
4597
4598         * http.c (extract_header_attr): Use strdupdelim().
4599         (digest_authentication_encode): Move declaration of local
4600         variables to smaller scope.
4601         (digest_authentication_encode): Reset REALM, OPAQUE and NONCE.
4602         (create_authorization_line): Detect authentication schemes
4603         case-insensitively.
4604
4605         * utils.c (touch): Constify.
4606
4607         * http.c (gethttp): Report a nicer error when no data is received.
4608
4609         * rbuf.h (RBUF_READCHAR): Ditto.
4610
4611         * ftp-basic.c (ftp_response): Use sizeof.
4612
4613 1998-04-27  Hrvoje Niksic  <hniksic@srce.hr>
4614
4615         * retr.c (print_percentage): EXPECTED is long, not int.
4616         (print_percentage): Use floating-point arithmetic to avoid
4617         overflow with large files' sizes multiplied with 100.
4618
4619 1998-04-27  Gregor Hoffleit  <flight@mathi.uni-heidelberg.de>
4620
4621         * config.h.in: Added pid_t stub.
4622
4623         * sysdep.h (S_ISREG): Moved here from mswindows.h (NeXT doesn't
4624         define it).
4625
4626 1998-04-20  Hrvoje Niksic  <hniksic@srce.hr>
4627
4628         * version.c: Wget 1.5.0 is released.
4629
4630 1998-04-18  Hrvoje Niksic  <hniksic@srce.hr>
4631
4632         * url.c (str_url): Ditto.
4633
4634         * ftp-basic.c (ftp_rest): Use new name.
4635
4636         * utils.c (long_to_string): Renamed from prnum().
4637
4638 1998-04-16  Hrvoje Niksic  <hniksic@srce.hr>
4639
4640         * version.c: Wget 1.5-b17 is released.
4641
4642 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
4643
4644         * headers.c (header_get): New argument FLAGS.
4645
4646         * http.c (gethttp): If request is malformed, bail out of the
4647         header loop.
4648         (gethttp): Check for empty header *after* the status line checks.
4649         (gethttp): Disallow continuations for status line.
4650
4651 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
4652
4653         * version.c: Wget 1.5-b16 is released.
4654
4655 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
4656
4657         * init.c (commands): Renamed `always_rest' to `continue'.
4658
4659 1998-04-05  Hrvoje Niksic  <hniksic@srce.hr>
4660
4661         * all: Use it.
4662
4663         * log.c (logputs): New argument.
4664         (logvprintf): Ditto.
4665         (logprintf): Ditto.
4666
4667 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
4668
4669         * http.c (http_atotm): Update comment.
4670
4671         * main.c (i18n_initialize): Set LC_MESSAGES, not LC_ALL.
4672
4673         * wget.h: Renamed ENABLED_NLS to HAVE_NLS.
4674
4675         * main.c (i18n_initialize): New function.
4676         (main): Use it.
4677
4678         * log.c: Include <unistd.h>.
4679
4680         * retr.c (show_progress): Cast alloca to char *.
4681
4682 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
4683
4684         * version.c: Wget 1.5-b15 is released.
4685
4686 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
4687
4688         * utils.h: Declare file_non_directory_p().
4689
4690 1998-04-03  Hrvoje Niksic  <hniksic@srce.hr>
4691
4692         * main.c (main): It's `tries', not `numtries' now.
4693
4694 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
4695
4696         * init.c (getperms): Removed.
4697
4698 1998-04-01  Tim Charron  <tcharron@interlog.com>
4699
4700         * log.c (logvprintf): Don't use ARGS twice.
4701
4702 1998-04-01  John  <john@futuresguide.com>
4703
4704         * mswindows.c: Cleaned up.
4705
4706 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
4707
4708         * version.c: Wget 1.5-b14 is released.
4709
4710 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
4711
4712         * ftp-opie.c (STRLEN4): New macro.
4713         (btoe): Use it.
4714
4715 1998-04-01  Junio Hamano  <junio@twinsun.com>
4716
4717         * http.c: Document all the Digest functions.
4718
4719 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
4720
4721         * utils.c (file_non_directory_p): Renamed from isfile().
4722
4723         * mswindows.h (S_ISREG): New macro, suggested by Tim Adam.
4724
4725 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
4726
4727         * utils.c (mkdirhier): Use 0777 instead of opt.dirmode.
4728
4729         * init.c (cmd_spec_dotstyle): Use 48 dots per line for binary
4730         style.
4731         (cmd_permissions): Removed.
4732
4733         * config.h.in: Add template for WORDS_BIGENDIAN.
4734
4735 1998-03-31  Junio Hamano  <junio@twinsun.com>
4736
4737         * http.c (HEXD2asc): New macro.
4738         (dump_hash): Use it.
4739
4740 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
4741
4742         * version.c: Wget 1.5-b13 is released.
4743
4744 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
4745
4746         * main.c (main): Don't try to use `com'.
4747
4748 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
4749
4750         * init.c (cmd_permissions): New function.
4751
4752 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
4753
4754         * version.c: Wget 1.5-b12 is released.
4755
4756 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
4757
4758         * init.c (commands): Renamed `numtries' to `tries'.
4759         (cmd_spec_debug): Removed.
4760         (home_dir): Under Windows, return `C:\' if HOME is undefined.
4761
4762 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
4763
4764         * config.h.in: Define _XOPEN_SOURCE.
4765
4766         * init.c (check_user_specified_header): New function.
4767         (cmd_spec_header): Use it.
4768         (cmd_spec_useragent): New function.
4769
4770 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
4771
4772         * version.c: Wget 1.5-b11 is released.
4773
4774 1998-03-28  Hrvoje Niksic  <hniksic@srce.hr>
4775
4776         * wget.h: Include <libintl.h> only if NLS is enabled.
4777
4778 1998-03-26  Hrvoje Niksic  <hniksic@srce.hr>
4779
4780         * options.h (struct options): Made `wait' a long.
4781         (struct options): Ditto for `timeout'.
4782
4783 1998-03-19  Hrvoje Niksic  <hniksic@srce.hr>
4784
4785         * utils.c (exists): Renamed to file_exists_p.
4786         (file_exists_p): Use access() if available.
4787
4788 1998-03-17  Hrvoje Niksic  <hniksic@srce.hr>
4789
4790         * utils.c (memfatal): Set save_log_p to 0 to avoid potential
4791         infloop.
4792
4793         * log.c: do_logging -> save_log_p.
4794
4795         * config.h.in: Added template for HAVE_VSNPRINTF.
4796
4797 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
4798
4799         * init.c: Ditto.
4800
4801         * http.c: Protect declaration against non-ANSI compiler.
4802
4803         * log.c (logvprintf): Use vsnprintf() if available.
4804
4805         * getopt.c (main): Don't translate test stuff.
4806
4807 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
4808
4809         * version.c: Wget 1.5-b10 is released.
4810
4811 1998-03-11  Hrvoje Niksic  <hniksic@srce.hr>
4812
4813         * ftp.c (getftp): Don't translate "CWD %s".
4814
4815         * wget.h (GCC_FORMAT_ATTR): Renamed from FORMAT_ATTR.
4816
4817 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
4818
4819         * ftp-opie.c (btoe): Use memcpy() instead of strncat().
4820
4821         * log.c (logputs): New function.
4822         (logvprintf): Renamed from vlogmsg; use logputs().
4823
4824         * retr.c (show_progress): Print `[100%]' when the retrieval is
4825         finished.
4826
4827         * init.c (run_wgetrc): Use FILE, not PATH.
4828         (wgetrc_file_name): Ditto.
4829
4830 1998-03-07  Tim Adam  <tma@osa.com.au>
4831
4832         * recur.c (parse_robots): Correctly reset `entries' on empty
4833         disallow.
4834
4835 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
4836
4837         * init.c (cmd_spec_debug): Use cmd_boolean().
4838
4839 1998-02-23  Hrvoje Niksic  <hniksic@srce.hr>
4840
4841         * http.c (gethttp): Create proxy-authorization correctly.
4842
4843 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
4844
4845         * md5.c: Ditto.
4846
4847         * getopt.c: Use ANSI function definitions.
4848
4849         * ftp-opie.c: New file.
4850
4851         * options.h: Don't redefine EXTERN.
4852
4853         * init.c: Sort it correctly.
4854
4855 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
4856
4857         * version.c: Wget 1.5-b9 is released.
4858
4859 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
4860
4861         * recur.c (recursive_retrieve): Reset `first_time'.
4862
4863         * ftp.c (getftp): Added `default' clause to switches of uerr_t.
4864
4865         * rbuf.c (rbuf_peek): Simplified.
4866         (rbuf_flush): Use MINVAL.
4867
4868         * wget.h (MINVAL): Moved from url.h.
4869
4870         * rbuf.h (RBUF_FD): New macro.
4871
4872         * url.c (add_url): Add to the head of the list.
4873
4874         * ftp.c (ftp_retrieve_list): Set the permissions to downloaded
4875         file.
4876         (getftp): Set the default permissions to 0600.
4877
4878 1998-02-21  Hrvoje Niksic  <hniksic@srce.hr>
4879
4880         * url.c (get_urls_html): Ditto.
4881         (convert_links): Ditto.
4882
4883         * recur.c (parse_robots): Ditto.
4884
4885         * html.c (ftp_index): Ditto.
4886
4887         * ftp-ls.c (ftp_parse_unix_ls): Open file as binary.
4888
4889         * init.c (defaults): Initialize `opt' to zero via memset.
4890
4891         * http.c (digest_authentication_encode): goto considered harmful.
4892
4893 1998-02-19  Hrvoje Niksic  <hniksic@srce.hr>
4894
4895         * ftp.c (delelement): Simplify and fix leak.
4896
4897 1998-02-18  Hrvoje Niksic  <hniksic@srce.hr>
4898
4899         * http.c (dump_hash): Use HEXD2ASC instead of home-grown stuff.
4900
4901         * url.h (HEXD2ASC): Removed warning.
4902
4903         * init.c (comind): Use binary search.
4904         (commands): Reorganized.
4905         (setval): Ditto.
4906         (cmd_boolean): New function.
4907         (cmd_number): Ditto.
4908         (cmd_number_inf): Ditto.
4909         (cmd_string): Ditto.
4910         (cmd_vector): Ditto.
4911         (cmd_directory_vector): Ditto.
4912         (cmd_bytes): Ditto.
4913         (cmd_time): Ditto.
4914         (cmd_spec_debug): Ditto.
4915         (cmd_spec_dirmode): Ditto.
4916         (cmd_spec_dirstruct): Ditto.
4917         (cmd_spec_dotstyle): Ditto.
4918         (cmd_spec_header): Ditto.
4919         (cmd_spec_htmlify): Ditto.
4920         (cmd_spec_mirror): Ditto.
4921         (cmd_spec_outputdocument): Ditto.
4922         (cmd_spec_recursive): Ditto.
4923         (settime): Merged with cmd_time().
4924         (setbytes): Merged with cmd_bytes().
4925         (setonoff): Merged with cmd_boolean().
4926         (onoff): Ditto.
4927
4928 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
4929
4930         * Makefile.in (distclean): Remove `config.h'.
4931
4932 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
4933
4934         * version.c: Wget 1.5-b8 is released.
4935
4936 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
4937
4938         * http.c (digest_authentication_encode): New function.
4939         (create_authorization_line): Use it.
4940         (dump_hash): New function.
4941         (digest_authentication_encode): Use it.
4942
4943         * fnmatch.c: Renamed from `mtch.c'.
4944
4945 1998-02-15  Karl Eichwalder  <ke@suse.de>
4946
4947         * main.c (main): Tag "Written by..." string as translatable.
4948
4949 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
4950
4951         * wget.h (FREE_MAYBE): New macro.
4952
4953         * http.c (create_authorization_line): Don't use ANSI C string
4954         concatenation feature.
4955         (basic_authentication_encode): Use alloca() for temporary
4956         variables.
4957
4958         * recur.h: Ditto.
4959
4960         * http.c: Ditto.
4961
4962         * headers.h: Ditto.
4963
4964         * ftp-basic.c: Protect declaration against non-ANSI compiler.
4965
4966         * http.c (create_authorization_line): Cast `unsigned char *' to
4967         `char *' for sprintf, to shut up the noisy Digital Unix cc.
4968
4969 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
4970
4971         * version.c: Wget 1.5-b7 is released.
4972
4973 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
4974
4975         * cmpt.c (strstr): Synched with glibc-2.0.6.
4976
4977         * ftp-basic.c (calculate_skey_response): Ditto.
4978         (calculate_skey_response): Use alloca().
4979
4980         * http.c (create_authorization_line): Work with FSF's version of
4981         md5.c.
4982
4983         * md5.c: New file, from GNU libc.
4984
4985 1998-02-14  Hrvoje Niksic  <hniksic@srce.hr>
4986
4987         * url.h (URL_CLEANSE): Name the temporary variable more carefully.
4988
4989 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
4990
4991         * http.c (basic_authentication_encode): New function, instead of
4992         the macro.
4993
4994 1998-02-13  Junio Hamano  <junio@twinsun.com>
4995
4996         * http.c: Add HTTP-DA support.
4997         * ftp-basic.c: Add Opie/S-key support.
4998         * config.h.in, Makefile.in: Add HTTP-DA and Opie/S-key support.
4999         * md5.c, md5.h: New files.
5000
5001 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
5002
5003         * http.c (http_process_range): Renamed from hprocrange().
5004         (http_process_range): Parse the whole header.
5005
5006         * headers.c: New file.
5007         (header_process): New function.
5008         (header_get): Renamed from fetch_next_header.
5009
5010         * all: Include utils.h only where necessary.
5011
5012         * wget.h: Declare xmalloc(), xrealloc() and xstrdup() here.
5013
5014         * wget.h: Add provisions for dmalloc.
5015
5016 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
5017
5018         * version.c: Wget 1.5-b6 is released.
5019
5020 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
5021
5022         * ftp.c (ftp_loop): Determine `filename' more precisely.
5023
5024         * init.c (setval): Don't set `opt.quiet' if output-document is
5025         `-'.
5026
5027         * log.c (log_init): Print to STDERR instead of STDOUT.
5028         (vlogmsg): Use STDERR by default.
5029         (logflush): Ditto.
5030
5031 1998-02-11  Simon Josefsson  <jas@pdc.kth.se>
5032
5033         * host.c: Use addr_in again.
5034
5035 1998-02-08  Karl Eichwalder  <karl@suse.de>
5036
5037         * http.c (gethttp): Fixed typo.
5038
5039 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
5040
5041         * version.c: Wget 1.5-b5 is released.
5042
5043 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
5044
5045         * retr.c (show_progress): Use it.
5046
5047         * log.c (logflush): New function.
5048
5049         * wget.h: Utilize __attribute__ if on gcc.
5050
5051 1998-02-07  Hrvoje Niksic  <hniksic@srce.hr>
5052
5053         * http.c (base64_encode_line): New argument LENGTH.
5054         (BASIC_AUTHENTICATION_ENCODE): Use it.
5055         (BASIC_AUTHENTICATION_ENCODE): Take length of HEADER into account.
5056
5057         * main.c (main): Fixed fprintf() format mismatch.
5058
5059 1998-02-06  Hrvoje Niksic  <hniksic@srce.hr>
5060
5061         * version.c: Wget 1.5-b4 is released.
5062
5063 1998-02-03  Simon Josefsson  <jas@pdc.kth.se>
5064
5065         * host.c: use sockaddr_in instead of addr_in.
5066
5067 1998-02-04  Hrvoje Niksic  <hniksic@srce.hr>
5068
5069         * init.c (cleanup): Use it.
5070
5071         * recur.c (recursive_cleanup): New function.
5072
5073         * retr.c (retrieve_from_file): Ditto.
5074
5075         * main.c (main): Use it.
5076
5077         * recur.c (recursive_reset): New function.
5078
5079         * retr.c (retrieve_from_file): Ditto.
5080
5081         * main.c (main): Simplify call to recursive_retrieve().
5082
5083         * recur.c (recursive_retrieve): Removed FLAGS argument.
5084
5085         * http.c (gethttp): Changed call to iwrite().
5086
5087 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
5088
5089         * url.c (get_urls_html): Ditto.
5090         (free_urlpos): Ditto.
5091         (mkstruct): Ditto.
5092         (construct): Ditto.
5093
5094         * retr.c (retrieve_url): Move declaration of local variables to
5095         smaller scope.
5096
5097         * url.c (urlproto): Use it.
5098         (parseurl): Ditto.
5099         (str_url): Ditto.
5100         (get_urls_html): Ditto.
5101
5102         * utils.h (ARRAY_SIZE): New macro.
5103
5104         * url.c (proto): Moved from url.h.
5105
5106         * url.h (URL_CLEANSE): Reformatted.
5107         (USE_PROXY_P): Renamed from USE_PROXY.
5108
5109         * ftp-basic.c: Adjust to the new interface of iwrite().
5110
5111         * ftp-basic.c (ftp_port): Use alloca().
5112
5113 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
5114
5115         * version.c: Wget 1.5-b3 is released.
5116
5117         * host.c (ftp_getaddress): Don't print to stderr directly.
5118
5119         * init.c (setbytes): Support `g' for gigabytes.
5120         (cmdtype): New specification CTIME.
5121         (setval): Use it with settime().
5122         (commands): Use it for WAIT and TIMEOUT.
5123
5124 1998-02-02  Hrvoje Niksic  <hniksic@srce.hr>
5125
5126         * http.c (BASIC_AUTHENTICATION_ENCODE): New macro.
5127         (gethttp): Use it.
5128
5129         * utils.c (unique_name_1): Moved from url.c.
5130         (unique_name): Ditto.
5131
5132         * url.c (url_filename): Ditto.
5133
5134         * log.c (redirect_output): Changed call to unique_name().
5135
5136         * url.c (unique_name_1): Renamed from unique_name().
5137         (unique_name): Changed interface.
5138
5139         * init.c (enum cmdid): Moved from init.h.
5140         (cmdtype): Ditto.
5141         (struct cmd): Ditto.
5142
5143         * main.c (main): Use it.
5144         (main): Moved `--backups' to not have a short option.
5145
5146         * options.h (struct options): New member BACKGROUND.
5147
5148         * main.c (print_help): Rearranged.
5149         (main): New long options for -n* short options: --no-directories,
5150         --no-host-directories, --non-verbose, --no-host-lookup and
5151         --dont-remove-listing.
5152
5153 1998-02-01  Hrvoje Niksic  <hniksic@srce.hr>
5154
5155         * main.c (main): Use log_close().
5156
5157         * log.c: New variable LOGFP.
5158         (vlogmsg): Use it.
5159         (redirect_output): Don't open /dev/null; set LOGFP to stdin
5160         instead.
5161         (log_close): New function.
5162
5163         * options.h (struct options): Removed LFILE.
5164
5165         * log.c (log_enable): Removed.
5166
5167         * main.c (main): Use it.
5168
5169         * log.c (log_init): New function.
5170
5171         * url.c (get_urls_html): Removed needless assignment to BASE.
5172
5173         * host.c (add_hlist): Don't set CMP needlessly.
5174
5175         * utils.c (match_backwards): Ditto.
5176         (in_acclist): Ditto.
5177
5178         * url.c (findurl): Ditto.
5179
5180         * netrc.c (parse_netrc): Ditto.
5181
5182         * log.c (log_dump): Ditto.
5183
5184         * html.c (html_quote_string): Ditto.
5185
5186         * ftp-basic.c (ftp_request): Made static.
5187
5188         * connect.c: Made global variables static.
5189
5190         * url.c (construct): Ditto.
5191
5192         * init.c (init_path): Avoid assignment inside `if'-condition.
5193
5194         * ftp.c: Don't include in.h or winsock.h.
5195
5196         * ftp.c (ftp_loop): Use SZ.
5197
5198         * connect.c (bindport): Cast &addrlen to int *.
5199         (conaddr): Ditto.
5200
5201         * init.c (initialize): Don't use SYSTEM_WGETRC unconditionally.
5202
5203 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
5204
5205         * ftp.c (getftp): Initialize opt.ftp_pass here.
5206         (ftp_retrieve_dirs): Use alloca().
5207
5208         * init.c (defaults): Don't initialize opt.ftp_pass.
5209
5210         * sysdep.h (S_ISLNK): Declare for OS/2; ditto for lstat.
5211         From Ivan F. Martinez <ivanfm@ecodigit.com.br>.
5212
5213 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
5214
5215         * recur.c (parse_robots): Check for comments more correctly.
5216
5217         * host.c (ftp_getaddress): Use STRDUP_ALLOCA.
5218         (ftp_getaddress): Add diagnostics when reverse-lookup yields only
5219         hostname.
5220
5221 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
5222
5223         * version.c: Wget 1.5-b2 is released.
5224
5225         * netrc.c (NETRC_FILE_NAME): Moved from netrc.h.
5226
5227         * utils.c (proclist): Pass FNM_PATHNAME to fnmatch().
5228
5229         * ftp-basic.c (ftp_pasv): Avoid unnecessary casting to unsigned
5230         char.
5231
5232         * log.c: Don't attempt to hide arguments from ansi2knr.
5233
5234         * cmpt.c: Synched strptime() and mktime() with glibc-2.0.6.
5235
5236         * ansi2knr.c: Use a later version, from fileutils-3.16l alpha.
5237
5238         * ftp.c (getftp): Ditto.
5239
5240         * http.c (gethttp): Use it.
5241
5242         * retr.c (get_contents): New argument EXPECTED; pass it to
5243         show_progress().
5244         (show_progress): New argument EXPECTED; use it to display
5245         percentages.
5246
5247         * init.c (setval): Ditto.
5248
5249         * http.c (gethttp): Ditto.
5250         (http_loop): Ditto.
5251
5252         * ftp.c (getftp): Ditto.
5253         (ftp_loop_internal): Ditto.
5254
5255         * ftp-ls.c (ftp_parse_unix_ls): Use abort() instead of assert(0).
5256
5257         * sysdep.h (CLOSE): Simplify; use DEBUGP.
5258
5259         * netrc.c (search_netrc): Use alloca().
5260
5261         * init.c (defaults): Initialize no_flush.
5262
5263         * log.c (vlogmsg): Don't flush if no_flush.
5264
5265         * options.h (struct options): New variable no_flush.
5266
5267         * main.c (main): Don't play games with buffering.
5268
5269         * log.c (vlogmsg): Flush the output after every message.
5270
5271 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
5272
5273         * init.c (parse_line): Ditto.
5274
5275         * url.c (get_urls_html): Ditto.
5276
5277         * main.c (main): Don't cast to unsigned char.
5278
5279         * init.c (run_wgetrc): Don't cast to unsigned char.
5280         (parse_line): Accept char instead of unsigned char.
5281
5282         * html.c (htmlfindurl): Use char instead of unsigned char.
5283
5284         * all: Use them.
5285
5286         * sysdep.h: Add wrappers to ctype macros to make them
5287         eight-bit-clean:
5288
5289 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
5290
5291         * html.c (htmlfindurl): Download <img lowsrc=...>
5292
5293         * main.c (main): Ignore SIGPIPE.
5294
5295         * connect.c (select_fd): New argument WRITEP.
5296         (iwrite): Call select_fd().
5297
5298 1997-02-27  Fila Kolodny <fila@ibi.com>
5299
5300         * ftp.c (ftp_retrieve_list): If retrieving symlink and the proper
5301         one already exists, just skip it.
5302
5303 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
5304
5305         * http.c (gethttp): Cosmetic changes.
5306
5307         * http.c (check_end): Allow `+D...' instead of `GMT'.
5308         From Fabrizio Pollastri <pollastri@cstv.to.cnr.it>.
5309
5310         * url.c (process_ftp_type): New function.
5311         (parseurl): Use it.
5312
5313         * connect.c (iwrite): Allow writing in a few chunks.
5314         (bindport): Made SRV static, so addr can point to it.
5315         (select_fd): Removed HPUX kludge.
5316
5317         * host.c (free_hlist): Incorporated into clean_hosts().
5318
5319 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
5320
5321         * host.c (hlist): Made static.
5322         (search_address): Cosmetic change.
5323
5324 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
5325
5326         * version.c: Wget v1.5-b1 is released.
5327
5328         * http.c (hgetlen): Use sizeof() to get the header length.
5329         (hgetrange): Ditto.
5330         (hgettype): Ditto.
5331         (hgetlocation): Ditto.
5332         (hgetmodified): Ditto.
5333         (haccepts_none): Ditto.
5334
5335         * main.c (main): Updated `--version' and `--help' output, as per
5336         Francois Pinard's suggestions.
5337
5338         * main.c: Include locale.h; call setlocale(), bindtextdomain() and
5339         textdomain().
5340
5341         * config.h.in: Define stubs for I18N3.
5342
5343         * wget.h: Include libintl.h.
5344
5345 1998-01-28  Hrvoje Niksic  <hniksic@srce.hr>
5346
5347         * url.c (mkstruct): Check for opt.cut_dirs.
5348         (mkstruct): alloca()-te more, xmalloc() less.
5349
5350         * utils.c (load_file): Check for ferror().
5351
5352         * url.c (get_urls_file): Close only the files we opened.
5353         (get_urls_html): Ditto.
5354         (count_slashes): New function.
5355
5356         * http.h: Removed.
5357
5358         * http.c (gethttp): Respect username and password provided by
5359         proxy URL.
5360         (base64_encode_line): Write into an existing buffer instead of
5361         malloc-ing a new one.
5362         (struct http_stat): Moved from http.h
5363
5364         * retr.c (retrieve_url): Free SUF.
5365
5366         * all: Removed lots of unnecessary .h dependencies.
5367
5368         * html.c (global_state): Made static.
5369
5370         * utils.h (ALLOCA_ARRAY): New macro.
5371
5372         * main.c (main): New option `--cut-dirs'.
5373
5374         * url.c (construct): Use alloca() for T.
5375
5376         * utils.c (mkdirhier): Use STRDUP_ALLOCA.
5377
5378         * host.c (_host_t): Moved from host.h.
5379         (struct host): Renamed from _host_t.
5380         (store_hostaddress): Use STRDUP_ALLOCA for INET_S.
5381         (realhost): Ditto.
5382
5383         * host.h: Don't include url.h.
5384
5385         * ftp.c (LIST_FILENAME): Moved from ftp.h.
5386
5387         * init.c (DEFAULT_FTP_ACCT): Moved from ftp.h.
5388
5389         * main.c (main): Enable log if the output goes to a TTY.
5390
5391         * connect.h: Removed unused constant `BACKLOG'.
5392
5393         * config.h.in: Check for isatty().
5394
5395         * Makefile.in (LINK): Use CFLAGS when linking.
5396
5397 1998-01-27  Hrvoje Niksic  <hniksic@srce.hr>
5398
5399         * mswindows.c (ws_hangup): Use redirect_output().
5400
5401         * main.c (redirect_output_signal): New function; use
5402         redirect_output().
5403
5404         * log.c (redirect_output): New function, based on hangup(), which
5405         is deleted.
5406
5407         * log.c (vlogmsg): New function.
5408
5409         * wget.h (DEBUGP): Use debug_logmsg().
5410
5411         * main.c (hangup): Use it.
5412
5413         * log.c (log_dump): New function.
5414
5415         * utils.h (DO_REALLOC): Use `long' for various sizes.
5416
5417         * http.c (hskip_lws): Use `while', for clarity.
5418         (HTTP_DYNAMIC_LINE_BUFFER): New constant.
5419         (fetch_next_header): Use it instead of DYNAMIC_LINE_BUFFER.
5420
5421         * ftp-basic.c (FTP_DYNAMIC_LINE_BUFFER): New constant.
5422         (ftp_response): Use it instead of DYNAMIC_LINE_BUFFER.
5423
5424         * utils.c (DYNAMIC_LINE_BUFFER): Moved from utils.c.
5425         (LEGIBLE_SEPARATOR): Ditto.
5426         (FILE_BUFFER_SIZE): Ditto.
5427
5428         * retr.c (BUFFER_SIZE): Moved from retr.h.
5429
5430         * log.c: New file.
5431         (logmsg): Moved from utils.c.
5432         (debug_logmsg): New function.
5433
5434         * mswindows.h: Include it here.
5435
5436         * init.c: Ditto.
5437
5438         * utils.c: Don't include <windows.h>.
5439
5440 1998-01-25  Hrvoje Niksic  <hniksic@srce.hr>
5441
5442         * host.c (ftp_getaddress): Ditto.
5443
5444         * main.c (main): Use it.
5445
5446         * utils.h (STRDUP_ALLOCA): New macro.
5447
5448         * init.c: Prepend `wget: ' to error messages printed on stderr.
5449
5450         * utils.c (mkdirhier): Renamed from mymkdir.
5451         (touch): Renamed from my_touch.
5452         (pwd_cuserid): Renamed from my_cuserid().
5453
5454 1998-01-24  Andy Eskilsson  <andy.eskilsson@telelogic.se>
5455
5456         * utils.c (accdir): Process wildcards.
5457         (proclist): New function.
5458         (accdir): Use it to avoid code repetition.
5459
5460 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
5461
5462         * recur.c (parse_robots): Respect opt.useragent; use alloca().
5463
5464         * http.c (gethttp): Construct useragent accordingly.
5465
5466         * version.c: Changed version string to numbers-only.
5467
5468         * main.c (print_help): List all the options.
5469
5470         * mswindows.c (windows_main_junk): Initialize argv0 here.
5471
5472 1998-01-24  Karl Heuer  <kwzh@gnu.org>
5473
5474         * netrc.c (search_netrc): Initialize `l' only after processing
5475         netrc.
5476
5477         * main.c (main): Don't trap SIGHUP if it's being ignored.
5478
5479 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
5480
5481         * all: Use logmsg().
5482
5483         * utils.c (time_str): Moved from retr.c.
5484         (logmsg): New function.
5485         (logmsg_noflush): Ditto.
5486
5487         * rbuf.c: New file, moved buf_* functions here.
5488
5489         * ftp.c (ftp_expected_bytes): Moved from ftp-basic.c.
5490
5491         * ftp-basic.c (ftp_rest): Use prnum().
5492
5493         * ftp-basic.c: Ditto.
5494
5495         * ftp.c: Use the new reading functions and macros.
5496
5497         * retr.c (buf_initialize): New function.
5498         (buf_initialized_p): Ditto.
5499         (buf_uninitialize): Ditto.
5500         (buf_fd): Ditto.
5501
5502         * http.c (fetch_next_header): Use the BUF_READCHAR macro for
5503         efficiency.
5504         (gethttp): Use alloca() where appropriate.
5505
5506         * retr.c (buf_readchar): Use it.
5507         (buf_peek): Use rstreams.
5508
5509         * retr.h (BUF_READCHAR): New macro.
5510
5511         * init.c (home_dir): Rewritten for clarity.
5512         (init_path): Ditto.
5513
5514         * mswindows.c (ws_backgnd): Made static.
5515         (read_registry): Ditto.
5516         (ws_cleanup): Ditto.
5517         (ws_handler): Ditto.
5518
5519 1998-01-23  Hrvoje Niksic  <hniksic@srce.hr>
5520
5521         * alloca.c: New file.
5522
5523         * Makefile.in (ALLOCA): Define.
5524
5525         * mswindows.c (ws_help): Constify.
5526         (ws_help): Use alloca.
5527
5528         * mswindows.c: Reformat.
5529
5530         * all: Added _(...) annotations for I18N snarfing and translation.
5531
5532         * host.c (ftp_getaddress): Nuke SYSINFO.
5533         (ftp_getaddress): Don't use getdomainname().
5534         (ftp_getaddress): Use uname(), where available.
5535
5536         * http.c (gethttp): Protect a stray fprintf().
5537
5538         * init.c (settime): New function.
5539         (setval): Treat WAIT specially, allowing suffixes like `m' for
5540         minutes, etc.
5541
5542 1998-01-21  Hrvoje Niksic  <hniksic@srce.hr>
5543
5544         * url.c (get_urls_html): Use alloca() for TEMP.
5545
5546 1998-01-21  Jordan Mendelson  <jordy@wserv.com>
5547
5548         * url.c (rotate_backups): New function.
5549
5550         * http.c (gethttp): Ditto.
5551
5552         * ftp.c (getftp): Rotate backups.
5553
5554 1997-12-18  Hrvoje Niksic  <hniksic@srce.hr>
5555
5556         * all: Renamed nmalloc(), nrealloc() and nstrdup() to xmalloc(),
5557         xrealloc() and xstrdup().  Use the new functions.
5558
5559         * url.c (decode_string): Made static.
5560         (has_proto): Ditto.
5561         (parse_dir): Ditto.
5562         (parse_uname): Ditto.
5563         (mkstruct): Ditto.
5564         (construct): Ditto.
5565         (construct_relative): Ditto.
5566
5567         * retr.c (show_progress): Made static.
5568
5569         * recur.c (robots_url): Made static.
5570         (retrieve_robots): Ditto.
5571         (parse_robots): Ditto.
5572         (robots_match): Ditto.
5573
5574         * main.h: Removed.
5575
5576         * main.c (printhelp): Made static.
5577         (hangup): Ditto.
5578
5579         * init.c (comind): Made static.
5580         (defaults): Ditto.
5581         (init_path): Ditto.
5582         (run_wgetrc): Ditto.
5583         (onoff): Ditto.
5584         (setonoff): Ditto.
5585         (setnum): Ditto.
5586         (myatoi): Ditto.
5587         (getperms): Ditto.
5588         (setbytes): Ditto.
5589
5590         * http.c (fetch_next_header): Made static.
5591         (hparsestatline): Ditto.
5592         (hskip_lws): Ditto.
5593         (hgetlen): Ditto.
5594         (hgetrange): Ditto.
5595         (hgettype): Ditto.
5596         (hgetlocation): Ditto.
5597         (hgetmodified): Ditto.
5598         (haccepts_none): Ditto.
5599         (gethttp): Ditto.
5600         (base64_encode_line): Ditto.
5601         (mktime_from_utc): Ditto.
5602         (http_atotm): Ditto.
5603
5604         * html.c (idmatch): Made static.
5605
5606         * host.c (search_host): Made static.
5607         (search_address): Ditto.
5608         (free_hlist): Ditto.
5609
5610         * ftp.c (getftp): Made static.
5611         (ftp_loop_internal): Ditto.
5612         (ftp_get_listing): Ditto.
5613         (ftp_retrieve_list): Ditto.
5614         (ftp_retrieve_dirs): Ditto.
5615         (ftp_retrieve_glob): Ditto.
5616         (freefileinfo): Ditto.
5617         (delelement): Ditto.
5618
5619         * ftp-ls.c (symperms): Made static.
5620         (ftp_parse_unix_ls): Ditto.
5621
5622         * connect.c (select_fd): Made static.
5623
5624         * utils.c (xmalloc): Renamed from nmalloc.
5625         (xrealloc): Renamed from nrealloc.
5626         (xstrdup): Renamed from nstrdup.
5627
5628         * getopt.c (exchange): Use alloca.
5629
5630         * mswindows.c (mycuserid): Use strncpy.
5631
5632         * New files mswindows.c, mswindows.h, sysdep.h.  winjunk.c,
5633         systhings.h, windecl.h and winjunk.h removed.
5634
5635         * mswindows.c (sleep): New function.
5636
5637         * utils.c: Include <windows.h> under Windows.
5638
5639 1997-06-12  Darko Budor  <dbudor@zesoi.fer.hr>
5640
5641         * url.h (URL_UNSAFE): Change default under Windows.
5642
5643         * retr.c (retrieve_from_file): Respect opt.delete_after.
5644
5645         * main.c (main): Call ws_help on Windows.
5646
5647         * winjunk.c (windows_main_junk): New function.
5648
5649         * main.c (main): Junk-process argv[0].
5650
5651         * http.c (mktime_from_utc): Return -1 if mktime failed.
5652
5653         * http.c (http_loop): Ditto.
5654
5655         * ftp.c (ftp_loop_internal): Change title on Windows when using a
5656         new URL.
5657
5658         * winjunk.c (getdomainname): Lots of functions.
5659
5660 1997-06-12  Hrvoje Niksic  <hniksic@srce.hr>
5661
5662         * cmpt.c (strptime_internal): Handle years more correctly for
5663         `%y'.
5664
5665 1997-06-09  Mike Thomas <mthomas@reality.ctron.com>
5666
5667         * http.c (gethttp): Allocate enough space for
5668         `Proxy-Authorization' header.
5669
5670 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
5671
5672         * version.c: Wget/1.4.5 is released.
5673
5674 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
5675
5676         * retr.c (get_contents): Check return value of fwrite more
5677         carefully.
5678
5679 1997-03-30  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
5680
5681         * cmpt.c (strptime_internal) [case 'Y']: Always subtract 1900 from
5682         year, regardless of century.
5683
5684 1997-03-30  Hrvoje Niksic  <hniksic@srce.hr>
5685
5686         * utils.c (isfile): Use `lstat' instead of `stat'.
5687
5688 1997-03-29  Hrvoje Niksic  <hniksic@srce.hr>
5689
5690         * utils.c (numdigit): Use explicit test.
5691
5692 1997-03-21  Hrvoje Niksic  <hniksic@srce.hr>
5693
5694         * http.c (http_loop): Always use `url_filename' to get u->local.
5695
5696 1997-03-20  Hrvoje Niksic  <hniksic@srce.hr>
5697
5698         * url.c: Recognize https.
5699
5700 1997-03-13  Hrvoje Niksic  <hniksic@srce.hr>
5701
5702         * recur.c (recursive_retrieve): Lowercase just the host name.
5703
5704 1997-03-09  Hrvoje Niksic  <hniksic@srce.hr>
5705
5706         * url.c (get_urls_file): Use the correct test.
5707         (get_urls_html): Ditto.
5708
5709 1997-03-07  Hrvoje Niksic  <hniksic@srce.hr>
5710
5711         * connect.c: Reverted addrlen to int.
5712
5713         * init.c (parse_line): Check for -1 instead of NONE.
5714
5715         * version.c: Changed version to 1.4.5.
5716
5717 1997-02-17  Hrvoje Niksic  <hniksic@srce.hr>
5718
5719         * init.c: New option netrc.
5720         (initialize): Don't parse .netrc.
5721
5722         * cmpt.c (recursive): Return rp.
5723         (strptime_internal): Match the long strings first, the abbreviated
5724         second.
5725
5726 1997-02-16  Hrvoje Niksic  <hniksic@srce.hr>
5727
5728         * http.c (check_end): New function.
5729         (http_atotm): Use it.
5730
5731 1997-02-13  gilles Cedoc  <gilles@cedocar.fr>
5732
5733         * http.c (gethttp): Use them.
5734
5735         * init.c: New options proxy_user and proxy_passwd.
5736
5737 1997-02-14  Hrvoje Niksic  <hniksic@srce.hr>
5738
5739         * ftp.c (ftp_retrieve_list): Create links even if not relative.
5740
5741 1997-02-10  Hrvoje Niksic  <hniksic@srce.hr>
5742
5743         * recur.c (recursive_retrieve): Lowercase the host name, if the
5744         URL is not "optimized".
5745
5746         * host.c (realhost): Return l->hostname, even if it matches with
5747         host.
5748
5749 1997-02-10  Marin Purgar  <pmc@asgard.hr>
5750
5751         * connect.c: Make addrlen size_t instead of int.
5752         (conaddr): Ditto.
5753
5754 1997-02-09  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
5755
5756         * systhings.h: Define S_ISLNK on NeXT too.
5757
5758 1997-02-09  Hrvoje Niksic  <hniksic@srce.hr>
5759
5760         * version.c: Released 1.4.3.
5761
5762         * url.c: Futher update to list of protostrings.
5763         (skip_proto): Skip `//' correctly for FTP and HTTP.
5764
5765         * url.c (get_urls_html): Handle bogus `http:' things a little
5766         different.
5767
5768         * main.c (main): Removed `follow-ftp' from `f'.
5769         (main): Dumped the `prefix-files' and `file-prefix' options and
5770         features; old and bogus.
5771         (main): Exit on failed setval() in `-e'.
5772
5773         * http.c (fetch_next_header): Use it to detect header continuation
5774         correctly.
5775
5776         * retr.c (buf_peek): New function.
5777
5778 1997-02-08  Hrvoje Niksic  <hniksic@srce.hr>
5779
5780         * wget.h: Include time.h and stuff.
5781
5782 1997-02-08  Roger Beeman  <beeman@cisco.com>
5783
5784         * ftp.c: Include <time.h>
5785
5786 1997-02-07  Hrvoje Niksic  <hniksic@srce.hr>
5787
5788         * url.c (findurl): Would read over buffer limits.
5789
5790 1997-02-06  Hrvoje Niksic  <hniksic@srce.hr>
5791
5792         * ftp-ls.c (ftp_parse_unix_ls): Allow spaces in file names.
5793
5794 1997-02-05  Hrvoje Niksic  <hniksic@srce.hr>
5795
5796         * http.c (http_atotm): Initialize tm.is_dst.
5797
5798 1997-02-02  Hrvoje Niksic  <hniksic@srce.hr>
5799
5800         * http.c (gethttp): Don't print the number of retrieved headers.
5801
5802         * main.c (main): New option `--no-clobber', alias for `-nc'.
5803
5804         * url.c: Recognize `https://'.
5805
5806 1997-02-01  Hrvoje Niksic  <hniksic@srce.hr>
5807
5808         * host.c (herrmsg): Don't use h_errno.
5809
5810 1997-01-30  Hrvoje Niksic  <hniksic@srce.hr>
5811
5812         * host.c (accept_domain): Use it.
5813
5814         * main.c (main): New option `--exclude-domains'.
5815
5816         * retr.c (retrieve_url): Use it.
5817         (retrieve_url): Bail out when an URL is redirecting to itself.
5818
5819         * url.c (url_equal): New function.
5820
5821 1997-01-29  Hrvoje Niksic  <hniksic@srce.hr>
5822
5823         * connect.c: Include arpa/inet.h instead of arpa/nameser.h.
5824
5825         * http.c (mk_utc_time): New function.
5826         (http_atotm): Use it; handle time zones correctly.
5827
5828 1997-01-28  Hrvoje Niksic  <hniksic@srce.hr>
5829
5830         * http.c: Ditto.
5831
5832         * ftp-basic.c: Use it instead of WRITE.
5833
5834         * connect.c (iwrite): New function.
5835
5836 1997-01-27  Hrvoje Niksic  <hniksic@srce.hr>
5837
5838         * cmpt.c (mktime): New function.
5839
5840         * netrc.c: Include <sys/types.h>.
5841
5842         * main.c (main): Wouldn't recognize --spider.
5843
5844         * retr.c (rate): Use `B', `KB' and `MB'.
5845         (reset_timer,elapsed_time): Moved from utils.c.
5846
5847         * ftp.c (ftp_retrieve_list): Ditto.
5848
5849         * http.c (http_loop): Don't touch the file if opt.dfp.
5850
5851 1997-01-24  Hrvoje Niksic  <hniksic@srce.hr>
5852
5853         * cmpt.c: New file.
5854
5855         * ftp.c (ftp_retrieve_glob): New argument semantics.
5856         (ftp_retrieve_dirs): Use it.
5857         (ftp_loop): Ditto.
5858
5859         * html.c (htmlfindurl): Recognize `'' as the quote char.
5860
5861 1997-01-23  Hrvoje Niksic  <hniksic@srce.hr>
5862
5863         * ftp.c (ftp_loop_internal): Use it.
5864
5865         * utils.c (remove_link): New function.
5866
5867 1997-01-22  Hrvoje Niksic  <hniksic@srce.hr>
5868
5869         * retr.c (retrieve_url): Require STRICT redirection URL.
5870
5871         * url.c (parseurl): New argument STRICT.
5872
5873         * http.c (hparsestatline): Be a little-bit less strict about
5874         status line format.
5875
5876 1997-01-21  Hrvoje Niksic  <hniksic@srce.hr>
5877
5878         * http.c (gethttp): Use it.
5879
5880         * main.c (main): Don't use '<digit>' as options.
5881
5882         * init.c: New option ignore_length.
5883
5884         * http.c (gethttp): Ditto.
5885         (http_loop): Check for redirection without Location:.
5886         (gethttp): Don't print Length unless RETROKF.
5887
5888         * ftp.c (getftp): Use it.
5889
5890         * url.c (mkalldirs): New function.
5891
5892         * utils.c (mymkdir): Don't check for existing non-directory.
5893
5894         * url.c (mkstruct): Don't create the directory.
5895
5896 1997-01-20  Hrvoje Niksic  <hniksic@srce.hr>
5897
5898         * init.c (setval): Removed NO_RECURSION checks.
5899
5900 1997-01-19  Hrvoje Niksic  <hniksic@srce.hr>
5901
5902         * version.c: "Released" 1.4.3-pre2.
5903
5904         * recur.c (recursive_retrieve): Bypass host checking only if URL
5905         is ftp AND parent URL is not ftp.
5906
5907         * ftp-basic.c (ftp_request): Print out Turtle Power.
5908
5909         * ftp.c (ftp_loop): Call ftp_retrieve_glob with 0 if there's no
5910         wildcard.
5911         (ftp_retrieve_glob): Call ftp_loop_internal even on empty list, if
5912         not glob.
5913
5914         * http.c (gethttp): Be a little bit smarter about status codes.
5915
5916         * recur.c (recursive_retrieve): Always reset opt.recursive when
5917         dealing with FTP.
5918
5919 1997-01-18  Hrvoje Niksic  <hniksic@srce.hr>
5920
5921         * retr.c (retrieve_url): New variable location_changed; use it for
5922         tests instead of mynewloc.
5923         (retrieve_url): Allow heuristic adding of html.
5924
5925         * url.c (url_filename): Don't use the `%' in Windows file names.
5926
5927         * http.c (http_loop): Always time-stamp the local file.
5928
5929         * http.c (http_loop): Ditto.
5930
5931         * ftp.c (ftp_retrieve_list): Use it.
5932
5933         * utils.c (my_touch): New function.
5934
5935         * ftp.c (ftp_retrieve_list): Use #ifdef HAVE_STRUCT_UTIMBUF
5936         instead of #ifndef NeXT.
5937
5938         * utils.c (strptime): New version, by Ulrich Drepper.
5939
5940 1997-01-17  Hrvoje Niksic  <hniksic@srce.hr>
5941
5942         * http.c (haccepts_none): Renamed from `haccepts_bytes'.
5943         (gethttp): If haccepts_none(), disable ACCEPTRANGES.
5944         (http_loop): Would remove ACCEPTRANGES.
5945
5946         * ftp.c (getftp): Call ftp_list with NULL.
5947
5948 1997-01-15  Hrvoje Niksic  <hniksic@srce.hr>
5949
5950         * html.c (ftp_index): Don't print minutes and seconds if we don't
5951         know them; beautify the output.
5952
5953         * ftp.c (getftp): Don't close the socket on FTPNSFOD.
5954
5955 1997-01-14  Hrvoje Niksic  <hniksic@srce.hr>
5956
5957         * utils.c (strptime): New function.
5958         (strptime): Don't use get_alt_number.
5959         (strptime): Don't use locale.
5960         (match_string): Made it a function.
5961
5962 1997-01-12  Hrvoje Niksic  <hniksic@srce.hr>
5963
5964         * http.c (http_atotm): New function.
5965         (http_loop): Use it.
5966
5967         * atotm.c: Removed from the distribution.
5968
5969         * http.c (base64_encode_line): Rewrite.
5970
5971 1997-01-09  Hrvoje Niksic  <hniksic@srce.hr>
5972
5973         * ftp.c (getftp): Use ftp_expected_bytes; print size.
5974
5975         * ftp-basic.c (ftp_response): Use ftp_last_respline.
5976         (ftp_expected_bytes): New function.
5977
5978         * ftp.c (getftp): Print the unauthoritative file length.
5979
5980         * ftp-ls.c: Renamed from ftp-unix.c.
5981         (ftp_parse_ls): Moved from ftp.c.
5982         (ftp_parse_unix_ls): Recognize seconds in time spec.
5983         (ftp_parse_unix_ls): Recognize year-less dates of the previous
5984         year.
5985
5986 1997-01-08  Hrvoje Niksic  <hniksic@srce.hr>
5987
5988         * ftp-basic.c: Don't declare errno if #defined.
5989
5990         * host.c (ftp_getaddress): Check for sysinfo legally.
5991
5992 1997-01-08  Darko Budor  <dbudor@diana.zems.fer.hr>
5993
5994         * connect.c (iread): Use READ.
5995
5996 1996-12-23  Hrvoje Niksic  <hniksic@srce.hr>
5997
5998         * url.c: Recognize finger, rlogin, tn3270, mid and cid as valid
5999         schemes.
6000
6001 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
6002
6003         * host.c (ftp_getaddress): Allow `.' in hostname.
6004
6005 1996-12-26  Darko Budor <dbudor@zems.fer.hr>
6006
6007         * wget.h: READ and WRITE macros for use instead of read and write
6008         on sockets, grep READ *.c, grep WRITE *.c
6009
6010         * wsstartup.c: new file - startup for winsock
6011
6012         * wsstartup.h: new file
6013
6014         * win32decl.h: new file - fixup for <errno.h> and winsock trouble
6015
6016         * configure.bat: Configure utility for MSVC
6017
6018         * src/Makefile.ms,config.h.ms: new files for use with MSVC 4.x
6019
6020 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
6021
6022         * version.c: Released 1.4.3-pre.
6023
6024         * utils.c (prnum): Accept long.
6025         (legible): Use prnum().
6026
6027         * connect.c (make_connection): Accept port as short.
6028         (bindport): Ditto.
6029
6030         * http.c (gethttp): Use search_netrc.
6031
6032 1996-12-21  Hrvoje Niksic  <hniksic@srce.hr>
6033
6034         * ftp.c (getftp): Use search_netrc.
6035
6036         * netrc.c (free_netrc): New function.
6037
6038         * init.c (home_dir): New function.
6039
6040         * url.c (convert_links): Allow REL2ABS changes.
6041
6042 1996-12-21  Gordon Matzigkeit  <gord@gnu.ai.mit.edu>
6043
6044         * netrc.c: New file.
6045         (parse_netrc, maybe_add_to_list): New functions.
6046
6047 1996-12-17  Hrvoje Niksic  <hniksic@srce.hr>
6048
6049         * retr.c (retrieve_url): Reset opt.recursion before calling
6050         ftp_loop if it is reached through newloc.
6051
6052         * init.c (run_wgetrc): Print the wgetrc path too, when reporting
6053         error; don't use "Syntax error", since we don't know if it is
6054         really a syntax error.
6055
6056 1996-12-16  Hrvoje Niksic  <hniksic@srce.hr>
6057
6058         * utils.c (acceptable): Extract the filename part of the path.
6059
6060         * recur.c (recursive_retrieve): Call acceptable() with the right
6061         argument; would bug out on wildcards.
6062
6063         * init.c (parse_line): Likewise.
6064
6065         * html.c (htmlfindurl): Cast to char * when calling stuff.
6066
6067 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
6068
6069         * ftp.c (getftp): Use ftp_pasv.
6070
6071         * ftp-basic.c (ftp_request): Accept NULL value.
6072         (ftp_pasv): New function.
6073
6074         * options.h (struct options): Add passive FTP option.
6075
6076 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
6077
6078         * url.c (parseurl): Debug output.
6079
6080         * utils.c (path_simplify): New one, adapted from bash's
6081         canonicalize_pathname().
6082
6083 1996-12-14  Hrvoje Niksic  <hniksic@srce.hr>
6084
6085         * ftp.c (getftp): Don't discard the buffer.
6086
6087         * retr.c (get_contents): New parameter nobuf.
6088
6089 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
6090
6091         * html.c (htmlfindurl): Recognize <meta contents="d; URL=...".
6092
6093         * init.c (setval): Strip the trailing slashes on CVECDIR.
6094
6095 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
6096
6097         * init.c: Make excludes and includes under CVECDIR instead of
6098         CVEC.
6099
6100 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
6101
6102         * url.c (get_urls_html): Skip "http:".
6103
6104 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
6105
6106         * utils.c (strcasecmp): From glibc.
6107         (strncasecmp): Also.
6108         (strstr): Also.
6109
6110         * url.c: Added javascript: to the list of URLs prefixes.
6111
6112 1996-12-12  Shawn McHorse  <riffraff@txdirect.net>
6113
6114         * recur.c (retrieve_robots): Print the warning message only if
6115         verbose.
6116
6117 1996-12-12  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
6118
6119         * ftp.c (ftp_retrieve_list): Use NeXT old utime interface.
6120
6121 1996-12-12  Hrvoje Niksic  <hniksic@srce.hr>
6122
6123         * systhings.h: New file.
6124
6125         * ../configure.in: Check for utime.h
6126
6127         * ftp.c: Check whether we have unistd.h.
6128
6129 1996-11-27  Hrvoje Niksic  <hniksic@srce.hr>
6130
6131         * recur.c (recursive_retrieve): Send the canonical URL as referer.
6132         (recursive_retrieve): Call get_urls_html with the canonical URL.
6133
6134 1996-12-13  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
6135
6136         * (configure.in, config.h.in, src/Makefile.in, src/*.[ch]): Add
6137         ansi2knr support for compilers which don't support ANSI style
6138         function prototypes and signatures.
6139
6140         * (aclocal.m4, src/ansi2knr.c, src/ansi2knr.1): New files.
6141
6142 1996-11-26  Hrvoje Niksic  <hniksic@srce.hr>
6143
6144         * url.c: Use it; Recognize paths ending with "." and ".." as
6145         directories.
6146         (url_filename): Append .n whenever file exists and could be a
6147         directory.
6148
6149         * url.h (ISDDOT): New macro.
6150
6151         * init.c (parse_line): Use unsigned char.
6152
6153         * url.c (get_urls_html): Cast to unsigned char * when calling
6154         htmlfindurl.
6155
6156         * html.c (htmlfindurl): Use unsigned char.
6157
6158         * version.c: Changed version to 1.4.3.
6159
6160 1996-11-25  Hrvoje Niksic  <hniksic@srce.hr>
6161
6162         * version.c: Released 1.4.2.
6163
6164         * ftp.c (getftp): Simplified assertion.
6165         (ftp_loop_internal): Remove symlink before downloading.
6166         (ftp_retrieve_list): Unlink the symlink name before attempting to
6167         create a symlink!
6168
6169         * options.h (struct options): Renamed print_server_response to
6170         server_response.
6171
6172         * ftp.c (rel_constr): Removed.
6173         (ftp_retrieve_list): Don't use it.
6174         (ftp_retrieve_list): Use opt.retr_symlinks.
6175
6176 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
6177
6178         * main.c (main): New option retr_symlinks.
6179
6180         * url.c (convert_links): Print verbose message.
6181
6182 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
6183
6184         * http.c (http_loop): Reset newloc in the beginning of function;
6185         would cause FMR in retrieve_url.
6186
6187 1996-11-23  Hrvoje Niksic  <hniksic@srce.hr>
6188
6189         * recur.c (convert_all_links): Find the URL of each HTML document,
6190         and feed it to get_urls_html; would bug out.
6191         (convert_all_links): Check for l2 instead of dl; removed dl.
6192
6193         * url.c (convert_links): Don't refer to freed newname.
6194
6195         * recur.c (recursive_retrieve): Add this_url to urls_downloaded.
6196
6197         * main.c (main): Print the OS_TYPE in the debug output, too.
6198
6199         * recur.c (recursive_retrieve): Check for opt.delete_after.
6200
6201         * main.c (main): New option delete-after.
6202
6203         * init.c (setval): Cleaned up.
6204
6205 1996-11-21  Hrvoje Niksic  <hniksic@srce.hr>
6206
6207         * Makefile.in (wget): Make `wget' the default target.
6208
6209         * ftp.c (ftp_loop_internal): Move noclobber checking out of the
6210         loop.
6211         (ftp_retrieve_list): Warn about non-matching sizes.
6212
6213         * http.c (http_loop): Made -nc non-dependent on opt.recursive.
6214
6215         * init.c (setnum): Renamed from setnuminf; New argument flags.
6216         (setval): Use it.
6217
6218         * main.c (main): Sorted the options.
6219         (main): New option --wait.
6220
6221 1996-11-21  Shawn McHorse  <riffraff@txdirect.net>
6222
6223         * html.c (htmlfindurl): Reset s->in_quote after getting out of
6224         quotes.
6225
6226 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
6227
6228         * version.c: Changed version to 1.4.2.
6229
6230 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
6231
6232         * version.c: Released 1.4.1.
6233
6234         * html.c (html_quote_string): New function.
6235         (ftp_index): Use it.
6236         (htmlfindurl): A more gentle ending debug message.
6237
6238         * ftp.c (ftp_loop): Check for opt.htmlify.
6239
6240         * init.c: New command htmlify.
6241
6242         * ftp.c (getftp): Nicer error messages, with `'-encapsulated
6243         strings.
6244         (ftp_loop): Print size of index.html.
6245
6246         * init.c (setval): Implement "styles".
6247
6248         * main.c (main): New option dotstyle.
6249
6250 1996-11-19  Hrvoje Niksic  <hniksic@srce.hr>
6251
6252         * ftp.c (getftp): Close the master socket in case of errors, after
6253         bindport().
6254
6255         * connect.c (bindport): Initialize msock to -1.
6256
6257         * ftp.c (getftp): Initialize dtsock to -1.
6258
6259         * connect.c (closeport): Don't close sock if sock == -1.
6260
6261 1996-11-18  Hrvoje Niksic  <hniksic@srce.hr>
6262
6263         * init.c (setnuminf): Nuked default value -- just leave unchanged.
6264         (setval): Don't send default values.
6265         (defaults): Use DEFAULT_TIMEOUT -- aaargh.
6266
6267         * options.h (struct options): Use long for dot_bytes.
6268
6269         * init.c (setquota): Renamed to setbytes.
6270         (setval): Use setbytes on DOTBYTES.
6271
6272 1996-11-17  Hrvoje Niksic  <hniksic@srce.hr>
6273
6274         * ftp.c (getftp): Initialize con->dltime.
6275
6276         * recur.c (recursive_retrieve): Use same_host instead of
6277         try_robots; simply load robots_txt whenever the host is changed.
6278         (recursive_retrieve): Free forbidden before calling parse_robots.
6279
6280 1996-11-16  Hrvoje Niksic  <hniksic@srce.hr>
6281
6282         * retr.c (show_progress): Use them.
6283
6284         * options.h (struct options): New options dot_bytes, dots_on_line
6285         and dot_spacing.
6286
6287 1996-11-16  Mark Boyns  <boyns@sdsu.edu>
6288
6289         * recur.c (recursive_retrieve): Retrieve directories regardless of
6290         acc/rej rules; check for empty u->file.
6291
6292 1996-11-14  Hrvoje Niksic  <hniksic@srce.hr>
6293
6294         * init.c (setval): Use it.
6295
6296         * utils.c (merge_vecs): New function.
6297
6298         * init.c (setval): Reset the list-type functions when encountering
6299         "".
6300
6301 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
6302
6303         * recur.c (recursive_retrieve): Use base_url instead of this_url
6304         for no_parent.
6305
6306 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
6307
6308         * html.c (htmlfindurl): Reset s->in_quote after exiting the quote.
6309
6310 1996-11-13  Hrvoje Niksic  <hniksic@srce.hr>
6311
6312         * utils.c (sepstring): Rewrote; don't use strtok.
6313
6314         * recur.c (recursive_retrieve): Enter assorted this_url to slist
6315         when running the first time.
6316         (retrieve_robots): Warn to ignore errors when robots are loaded.
6317
6318         * utils.c (load_file): Moved from url.c.
6319
6320         * http.c: Made static variables const too in h* functions.
6321
6322         * main.c (main): Renamed --continue-ftp to --continue.
6323
6324         * recur.c (recursive_retrieve): Use it.
6325
6326         * utils.c (frontcmp): New function.
6327
6328         * url.c (accdir): New function.
6329
6330         * html.c (htmlfindurl): Recognize <area href=...>.
6331
6332         * ftp.c (ftp_retrieve_dirs): Implemented opt.includes.
6333
6334         * init.c (setval): Free the existing opt.excludes and
6335         opt.includes, if available.
6336
6337         * main.c (main): New option -I.
6338
6339 1996-11-12  Hrvoje Niksic  <hniksic@srce.hr>
6340
6341         * ftp.c (ftp_retrieve_glob): Do not weed out directories.
6342
6343         * version.c: Changed version to 1.4.1.
6344
6345 1996-11-11  Hrvoje Niksic  <hniksic@srce.hr>
6346
6347         * version.c: Released 1.4.0.
6348
6349 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
6350
6351         * main.c (main): Free com and val after parse_line.
6352         (printhelp): Reorder the listing.
6353
6354         * http.c: More robust header parsing.
6355
6356         * http.c: Allow any number of spaces, or no spaces, precede ':'.
6357         (hskip_lws): New function.
6358         (haccepts_bytes): New function.
6359         (gethttp): Use it.
6360
6361         * init.c (setval): Check header sanity.
6362         (setval): Allow resetting of headers.
6363
6364 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
6365
6366         * http.c (http_loop): Don't use has_wildcards.
6367
6368         * http.c (gethttp): Free all_headers -- would leak.
6369
6370         * recur.c (recursive_retrieve): Initialize depth to 1 instead of
6371         0 -- this fixes a long-standing bug in -rl.
6372
6373 1996-11-09  Hrvoje Niksic  <hniksic@srce.hr>
6374
6375         * ftp.c: Use -1 as "impossible" value for con->fd.
6376
6377         * url.h (URL_SEPARATOR): Don't treat `*' and `+' as separators.
6378
6379         * init.c (parse_line): Use isalpha.
6380
6381         * ftp-unix.c: Use HAVE_UNISTD_H.
6382
6383         * mtch.c (has_wildcards): Don't match \.
6384
6385         * http.c (http_loop): Warn on HTTP wildcard usage.
6386
6387 1996-11-08  Hrvoje Niksic  <hniksic@srce.hr>
6388
6389         * url.c (url_filename): Do not create numbered suffixes if
6390         opt.noclobber -- would bug out on -nc.
6391
6392 1996-11-07  Hrvoje Niksic  <hniksic@srce.hr>
6393
6394         * recur.c (parse_robots): Don't chuck out the commands without
6395         arguments (`Disallow:<empty>' didn't work).
6396         (parse_robots): Compare versions lowercase.
6397         (parse_robots): Match on base_version, not version_string!
6398         (parse_robots): Handle comments properly.
6399         (parse_robots): Match versions in a sane way.
6400
6401         * init.c: Print nicer error messages.
6402
6403         * version.c: Changed version to 1.4.0.
6404
6405 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
6406
6407         * version.c: Released 1.4.0-test2.
6408
6409         * init.c (run_wgetrc): Close fp.
6410
6411         * ftp.c (ftp_retrieve_dirs): Allocate the correct length for
6412         u->dir.
6413
6414 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
6415
6416         * init.c (setquota): Allow inf as quota specification.
6417
6418 1996-11-05  Hrvoje Niksic  <hniksic@srce.hr>
6419
6420         * ftp.c (ftp_retrieve_dirs): Return QUOTEXC if quota exceeded.
6421         (ftp_retrieve_glob): Return QUOTEXC on quota exceeded.
6422
6423         * main.c (main): Check for quota by comparison with downloaded
6424         stuff, not from status.
6425
6426         * connect.c (select_fd): Should compile on HPUX without warnings now.
6427
6428         * ftp.c (ftp_get_listing): Check whether ftp_loop_internal
6429         returned RETROK.
6430
6431 1996-11-04  Hrvoje Niksic  <hniksic@srce.hr>
6432
6433         * ftp.c (ftp_retrieve_glob): Print the pattern nicely.
6434         (getftp): Return FTPRETRINT on control connection error.
6435
6436         * html.c (htmlfindurl): Recognize <embed src=...> and
6437         <bgsound src=...>.
6438         (ftp_index): Handle username and password correctly.
6439
6440         * main.c (main): Made `-np' a synonim for --no-parent.
6441
6442 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
6443
6444         * ftp.c (ftp_loop): Check for opt.ftp_glob too before calling
6445         ftp_retrieve_glob.
6446
6447         * version.c: Changed version to 1.4.0-test2.
6448
6449 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
6450
6451         * version.c: Released 1.4.0-test1.
6452
6453         * url.c (str_url): Don't use sprintf when creating %2F-prefixed
6454         directory.
6455         (convert_links): Removed definition of make_backup.
6456
6457         * http.h: Removed definition of MAX_ERROR_LENGTH.
6458
6459         * host.c (ftp_getaddress): Check for "(none)" domains.
6460
6461         * ftp.c (ftp_retrieve_dirs): Docfix.
6462
6463         * http.c (gethttp): Use ou->referer instead of u->referer.
6464
6465         * retr.c (retrieve_url): Reset u to avoid freeing pointers twice;
6466         this was known to cause coredumps on Linux.
6467
6468         * html.c (ftp_index): Cast the argument to local_time to time_t *.
6469
6470 1996-11-01  Hrvoje Niksic  <hniksic@srce.hr>
6471
6472         * connect.c (select_fd): Use exceptfds -- once and for all.
6473
6474         * retr.c (retrieve_from_file): Free filename after
6475         recursive_retrieve.
6476         (retrieve_from_file): Send RFIRST_TIME to recursive_retrieve on
6477         first-time retrieval.
6478         (retrieve_from_file): Return uerr_t; new argument, count.
6479         (retrieve_from_file): Break on QUOTEXC.
6480
6481         * init.c (setquota): Fixed a bug that caused rejection of
6482         non-postfixed values..
6483
6484 1996-10-30  Hrvoje Niksic  <hniksic@srce.hr>
6485
6486         * version.c: Changed name to wget.
6487
6488         * connect.c (iread): Smarter use of select.
6489         (select_fd): Set errno on timeout.  If not timeout, return 1
6490         instead of 0.
6491
6492 1996-10-29  Hrvoje Niksic  <hniksic@srce.hr>
6493
6494         * ftp.c (ftp_loop_internal): Don't use con->cmd before
6495         establishing it.
6496
6497 1996-10-26  Hrvoje Niksic  <hniksic@srce.hr>
6498
6499         * http.c (gethttp): Send correct referer when using proxy.
6500         (gethttp): Use struct urlinfo ou to access the relevant data; send
6501         correct authorization in all cases.
6502
6503         * host.c (same_host): Use skip_uname to skip username and
6504         password.
6505
6506         * url.c (skip_uname): New function.
6507         (parseurl): Use it.
6508
6509         * host.c (same_host): Do not assume HTTP -- same_host should now
6510         be totally foolproof.
6511
6512         * url.c (skip_proto): New function.
6513         (parse_uname): Use it.
6514
6515         * http.c (gethttp): Create local user and passwd from what is
6516         given.
6517
6518         * url.c (parseurl): Check for HTTP username and password too.
6519
6520 1996-10-25  Hrvoje Niksic  <hniksic@srce.hr>
6521
6522         * config.h.in: Removed #define gethostbyname R...
6523
6524 1996-10-22  Hrvoje Niksic  <hniksic@srce.hr>
6525
6526         * version.c: Changed version to 1.4.0-test1.
6527
6528 1996-10-21  Hrvoje Niksic  <hniksic@srce.hr>
6529
6530         * version.c: "Released" 1.4b29.
6531
6532         * recur.c (recursive_retrieve): Check for no_parent.
6533
6534         * init.c (setval): Option update.
6535
6536         * main.c (main): New option no-parent.
6537
6538         * options.h (struct options): New variable no_parent.
6539
6540         * recur.c (recursive_retrieve): Only files are checked for
6541         opt.accepts and opt.rejects.
6542         (recursive_retrieve): Check directories for opt.excludes.
6543         (recursive_retrieve): Make the dir absolute when checking
6544         opt.excludes.
6545
6546         * html.c (htmlfindurl): Recognize <applet code=...> and <script
6547         src=...>
6548
6549 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
6550
6551         * ftp.c (getftp): Do not line-break assert entries at all.
6552         (ftp_retrieve_dirs): docfix.
6553
6554         * connect.c (select_fd): Use fd + 1 as nfds.
6555
6556         * version.c: Changed version to 1.4b29.
6557
6558 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
6559
6560         * version.c: "Released" 1.4b28.
6561
6562         * ftp.c (ftp_loop_internal): Check whether f->size == len and
6563         don't continue the loop if it is.
6564         (ftp_get_listing): Remove list_filename on unsuccesful loop.
6565
6566 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
6567
6568         * ftp.c (ftp_loop_internal): Use strcpy to initialize tmp.
6569         (getftp): Do not use multiline assert.
6570
6571         * http.c (hparsestatline): Use mjr and mnr instead of major and
6572         minor, which don't compile on Ultrix.
6573         (http_loop): Use strcpy() to initialize tmp.
6574
6575         * all: Geturl -> Fetch
6576
6577 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
6578
6579         * recur.c (parse_robots): Fixed an off-by-one bug when looking for
6580         ':'.
6581
6582         * html.c (htmlfindurl): Fixed several possible off-by-one bugs by
6583         moving `bufsize &&' to the beginning of each check in for-loops.
6584
6585         * recur.c (parse_robots): Close fp on exit.
6586
6587         * url.c (mymkdir): Check for each directory before creating.
6588
6589 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
6590
6591         * version.c: Changed version to 1.4b28.
6592
6593 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
6594
6595         * version.c: "Released" 1.4b27.
6596
6597         * init.c (parse_line): Use isspace.
6598         (parse_line): Free *com on all errors.
6599
6600         * ftp.c (ftp_loop): Change FTPOK to RETROK before exiting.
6601         (delelement): Use next instead of f->next and prev instead of
6602         f->prev.
6603         (delelement): Free the members of the deleted element.
6604
6605         * http.c (http_loop): Do not return RETROK on code != 20x.
6606
6607         * init.c (cleanup): Free opt.user_header.
6608         (cleanup): Free opt.domains.
6609
6610         * url.c (freelists): Moved to cleanup().
6611
6612         * http.c (hparsestatline): Docfix.
6613
6614         * main.c (main): Return with error status on unsuccesful
6615         retrieval.
6616
6617         * init.c (setval): Do not remove listing when mirroring.
6618
6619         * url.c (url_filename): Use opt.fileprefix.
6620
6621         * ftp.c (ftp_get_listing): Use url_filename to get filename for
6622         .listing.
6623
6624         * main.c (main): New option: -rn.
6625
6626 1996-10-15  Hrvoje Niksic  <hniksic@srce.hr>
6627
6628         * Makefile.in (RM): Added RM = rm -f.
6629
6630         * host.c (clean_hosts): New function.
6631         (free_hlist): Just free the list, no reset.
6632
6633         * version.c: Changed version to 1.4b27.
6634
6635 1996-10-13  Hrvoje Niksic  <hniksic@srce.hr>
6636
6637         * version.c: "Released" 1.4b26.
6638
6639         * retr.c (retrieve_from_file): If call get_urls_html with
6640         opt.spider to make it silent in spider mode.
6641
6642         * url.c (str_url): Use CLEANDUP instead of URL_CLEANSE.
6643
6644         * url.h (CLEANDUP): New macro.
6645
6646         * http.c (gethttp): Fixed a bug that freed location only when it
6647         was NULL.
6648
6649         * retr.c (retrieve_url): Free url if it will not be stored,
6650         i.e. newloc is NULL.
6651
6652         * html.c (htmlfindurl): Handle exiting from quotes correctly; the
6653         old version would bug out on <a href="x#a"href="y">.
6654
6655         * html.h (state_t): New member in_quote.
6656
6657         * html.c (htmlfindurl): Free s->attr at the beginning of
6658         attr-loop.
6659
6660         * recur.c (recursive_retrieve): Recognize RCLEANUP.
6661         (tried_robots): Make hosts a global variable.
6662         (recursive_retrieve): Free constr after URL host optimization.
6663         (tried_robots): Free urlinfo before exiting.
6664
6665         * utils.c (free_slist): New function.
6666
6667         * recur.c (recursive_retrieve): Use flags to add cleanup
6668         possibility.
6669
6670         * main.c (main): Free filename after recursive_retrieve.
6671
6672         * http.c (gethttp): Store successful responses too.
6673
6674 1996-10-12  Hrvoje Niksic  <hniksic@srce.hr>
6675
6676         * all: Constified the whole source.  This required some minor
6677         changes in many functions in url.c, possibly introducing bugs -- I
6678         hope not.
6679
6680         * ftp-basic.c: Removed last_respline.
6681
6682         * http.c (gethttp): Free type.
6683
6684         * host.c (same_host): Free real1 and real2.
6685
6686         * main.c (main): New option --spider.
6687
6688         * retr.c (get_contents): Don't reset errno.
6689
6690         * main.c (main): Sorted the options.
6691
6692         * connect.c (iread): Set errno to ETIMEDOUT only if it was left
6693         uninitialized by select().
6694
6695         * http.c (http_loop): Print the time when the connection is
6696         closed.
6697         (gethttp): Debug-print the HTTP request.
6698
6699 1996-10-11  Hrvoje Niksic  <hniksic@srce.hr>
6700
6701         * connect.c (iread): Do not try reading after timeout.
6702
6703         * main.c (main): Would bug out on -T.
6704
6705         * connect.c (select_fd): Do not use exceptfds.
6706         (iread): Set ETIMEDOUT on select_fd <= 0.
6707
6708         * version.c: Changed version to 1.4b26.
6709
6710 1996-10-10  Hrvoje Niksic  <hniksic@srce.hr>
6711
6712         * version.c: "Released" 1.4b25.
6713
6714         * ftp-unix.c (ftp_parse_unix_ls): Ignore lines without file name
6715         or link name.
6716
6717         * http.c (gethttp): Add errcode to struct hstat.
6718         (http_loop): Use it.
6719
6720         * url.c (no_proxy_match): Simplify using char** for no_proxy.
6721
6722         * options.h (struct options): Make opt.no_proxy a vector.
6723
6724         * utils.c (sepstring): Use !*s instead of !strlen(s).
6725
6726         * init.c (setval): Set opt.maxreclevel to 0 on --mirror.
6727         (getperms): Use ISODIGIT instead of isdigit.
6728
6729         * ftp.c (getftp): Print time.
6730
6731         * main.c (main): Use legible output of downloaded quantity.
6732
6733         * ftp.c (getftp): Use elapsed_time().
6734         (ftp_loop_internal): Use rate().
6735
6736         * http.c (http_loop): Add download ratio output; Use rate().
6737
6738         * utils.c (rate): New function.
6739
6740 1996-10-09  Hrvoje Niksic  <hniksic@srce.hr>
6741
6742         * http.c (http_loop): Use timer.
6743
6744         * ftp.c: Split to ftp-basic.c and ftp.c
6745
6746         * utils.c (reset_timer): New function.
6747         (elapsed_time): New function.
6748
6749         * retr.c (show_progress): Make bytes_in_line and offs long; should
6750         work on 16-bit machines.
6751
6752 1996-10-08  Hrvoje Niksic  <hniksic@srce.hr>
6753
6754         * url.c (in_acclist): New argument backward.
6755
6756         * ftp.c (ftp_retrieve_glob): Use acceptable() to determine whether
6757         a file should be retrieved according to suffix.
6758         (ftp_get_listing): Check the return value of unlink; Do not call
6759         ftp_retrieve_dirs if depth reached maxreclevel.
6760         (ftp_retrieve_dirs): Check whether the directory is in
6761         exclude-list.
6762
6763         * main.c (main): Print the version number at the beginning of
6764         DEBUG output.
6765         (main): Use strrchr when creating exec_name.
6766
6767         * ftp.c (ftp_retrieve_glob): Do not close control connection.
6768
6769         * version.c: Changed version to 1.4b25.
6770
6771 1996-10-07  Hrvoje Niksic  <hniksic@srce.hr>
6772
6773         * version.c: "Released" 1.4b24.
6774
6775         * Makefile.in: Rewrite.
6776
6777         * ftp.c (ftp_loop_internal): Likewise.
6778
6779         * retr.c (time_str): Check for failed time().
6780
6781         * html.c (htmlfindurl): Recognize <fig src> and <overlay src> from
6782         HTML3.0.
6783
6784         * retr.c (time_str): Return time_t *.
6785
6786         * connect.c (bindport): Close msock on unsuccesful bind.
6787         (bindport): The same for getsockname and listen.
6788
6789         * retr.c (retrieve_url): Allow any number of retries on
6790         proxy.
6791
6792         * http.c (gethttp): Do not treat errno == 0 as timeout.
6793         (http_loop): Likewise.
6794         (http_loop): Cosmetic changes.
6795
6796         * connect.c (iread): Set errno to ETIMEDOUT in case of timeout.
6797
6798         * retr.c (get_contents): Reset errno.
6799
6800         * ftp.c (getftp): Minor fixes.
6801
6802 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
6803
6804         * http.c: Do not use backups.
6805
6806         * geturl.1 (WARNING): Warn that man-page could be obsolete.
6807
6808         * getopt.c (getopt_long): Moved to getopt.c
6809
6810         * geturl.texi: Enhanced.
6811
6812         * main.c (main): Use it.
6813
6814         * recur.c (convert_all_links): New function.
6815
6816         * utils.c (add_slist): New argument flags.
6817
6818         * recur.c (recursive_retrieve): Update a list of downloaded URLs.
6819         (parse_robots): Do not chuck out empty value fields.
6820         (parse_robots): Make yourself welcome on empty Disallow.
6821
6822         * version.c: Changed version to 1.4b24.
6823
6824 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
6825
6826         * version.c: "Released" 1.4b23.
6827
6828         * ftp.c (ftp_loop_internal): Get the time after getftp.
6829
6830         * Makefile.in (install.info): New target.
6831         (install): Use it.
6832
6833         * http.c (http_loop): Fix output when doing -O.
6834
6835 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
6836
6837         * geturl.texi: New file.
6838
6839         * main.c (main): Do not print the warnings and download summary if
6840         opt.quiet is set.
6841
6842         * version.c: Changed version to 1.4b23.
6843
6844 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
6845
6846         * "Released" 1.4b22.
6847
6848         * atotm.c (atotm): Use True and False instead of TRUE and FALSE,
6849         to avoid redefinition warnings.
6850
6851         * host.c (store_hostaddress): Use memcpy() to copy the address
6852         returned by inet_addr.
6853
6854         * version.c: Changed version to 1.4b22.
6855
6856 1996-10-04  Hrvoje Niksic  <hniksic@srce.hr>
6857
6858         * version.c: "Released" 1.4b21.
6859
6860         * ftp-unix.c (ftp_parse_ls): Renamed to ftp_parse_unix_ls.
6861
6862         * ftp.c (ftp_port): Use conaddr.
6863         (getftp): Print the file length.
6864         (ftp_retrieve_list): Check the stamps of plain files only.
6865
6866         * connect.c (closeport): Do not call shutdown().
6867         (conaddr): New function.
6868
6869         * html.c (ftp_index): Made it dfp-aware.
6870
6871         * init.c (cleanup): New name of freemem. Close opt.dfp.
6872
6873         * ftp.c (getftp): Use opt.dfp if it is set.
6874
6875         * ftp-unix.c (ftp_parse_ls): Recognize time in h:mm format.
6876
6877         * ftp.c (ftp_retrieve_dirs): Fixed a bug that caused incorrect
6878         CWDs to be sent with recursive FTP retrievals.
6879
6880 1996-10-03  Hrvoje Niksic  <hniksic@srce.hr>
6881
6882         * recur.c (parse_robots): Made it more compliant with "official"
6883         specifications.
6884
6885         * http.c: New function.
6886
6887         * ftp-unix.c (ftp_parse_ls): Added better debug output.
6888
6889         * ftp.c (getftp): Print out the LIST in case of
6890         opt.print_server_response.
6891
6892         * version.c: Changed version to 1.4b21.
6893
6894 1996-10-01  Hrvoje Niksic  <hniksic@srce.hr>
6895
6896         * version.c: "Released" 1.4b20.
6897
6898         * README: Update.
6899
6900         * http.c (gethttp): Preset lengths of various headers instead of
6901         calculating them dynamically.
6902         (gethttp): Check for 206 partial contents.
6903
6904 1996-09-30  Hrvoje Niksic  <hniksic@srce.hr>
6905
6906         * configure.in: Set SYSTEM_GETURLRC to $libdir/geturlrc
6907
6908         * http.c (gethttp): Send the port number in the Host: header.
6909
6910 1996-09-29  Hrvoje Niksic  <hniksic@srce.hr>
6911
6912         * http.c (gethttp): Send host: header.
6913         (gethttp): Add the possibility of user-defined headers.
6914         (gethttp): Move decision about pragma: no-cache to http_loop,
6915         where it belongs.
6916         (gethttp): Pass a struct instead of enormous argument list.
6917         (http_loop): Use a new, fancier display format.
6918         (ftp_loop): Likewise.
6919
6920         * main.c: (hangup): Turn off buffering of the new log file.
6921
6922         * install-sh: Likewise.
6923
6924         * config.sub: Replace with the one in autoconf-2.10
6925
6926         * geturl.1: Update.
6927
6928         * init.c: New options httpuser and httppasswd.
6929
6930         * http.c: (base64_encode_line): New function.
6931         (gethttp): Send authentication.
6932
6933         * connect.c (make_connection): Use store_hostaddress.
6934
6935 1996-09-28  Hrvoje Niksic  <hniksic@srce.hr>
6936
6937         * host.c (store_hostaddress): New function.
6938
6939         * NEWS: Update.
6940
6941         * http.c (hgetrange): New function.
6942         (gethttp): Use ranges.
6943
6944         * utils.c (numdigit): Accept long instead of int.
6945
6946         * http.c (http_loop): Add restart capabilities.
6947
6948         * ftp.c (ftp_retrieve_glob): Fixed a bug that could cause matchres
6949         being used uninitialized.
6950         (ftp_retrieve_list): Similar fix.
6951
6952         * host.c (add_hlist): Fixed a bug that could cause cmp being used
6953         uninitialized.
6954
6955         * url.c (construct_relative): New function.
6956
6957         * recur.c (recursive_retrieve): Use it.
6958
6959         * retr.c (convert_links): New function.
6960
6961 1996-09-27  Hrvoje Niksic  <hniksic@srce.hr>
6962
6963         * url.c (free_urlpos): New function.
6964
6965         * recur.c (recursive_retrieve): Adapt.
6966
6967         * url.c (get_urls_html): Return a linked list instead of a vector.
6968
6969         * url.c (get_urls_file): Return a linked list instead of a vector.
6970
6971         * geturl.1: Update.
6972
6973         * http.c (gethttp): Implement it.
6974
6975         * init.c (setval): New option: SAVEHEADERS
6976
6977         * ftp.c (ftp_loop_internal): Do not set restval if listing is to
6978         be retrieved. Lack of this test caused bugs when the connection
6979         was lost during listing.
6980
6981         * retr.c (retrieve_url): Fixed a bug that caused
6982         coredumps. *newloc is now reset by default.
6983         (retrieve_url): Lift the twenty-tries limit on proxies.
6984
6985         * version.c: Changed version to 1.4b20.
6986
6987 1996-09-20  Hrvoje Niksic  <hniksic@srce.hr>
6988
6989         * version.c: "Released" 1.4b19.
6990
6991 1996-09-19  Hrvoje Niksic  <hniksic@srce.hr>
6992
6993         * ftp.c (ftp_loop_internal): Renamed from ftp_1fl_loop.
6994         (getftp): Changed prototype to accept ccon *.
6995
6996 1996-09-17  Hrvoje Niksic  <hniksic@srce.hr>
6997
6998         * ftp.c (ftp_retrieve_list): Fixed a bug that caused setting
6999         incorrect values to files pointed to by symbolic links.
7000         (ftp_1fl_loop): Do not count listings among the downloaded URL-s.
7001
7002 1996-09-16  Hrvoje Niksic  <hniksic@srce.hr>
7003
7004         * url.c (mkstruct): Do not prepend "./" in front of a pathname.
7005
7006         * main.c (main): New option: --user-agent.
7007
7008         * geturl.1: Ditto.
7009
7010         * init.h: Ditto.
7011
7012         * init.c (setval): Ditto.
7013
7014         * main.c (main): Rename "server-headers" to "server-response".
7015
7016         * ftp-unix.c (ftp_parse_ls): Check for asterisks at the end of
7017         executables in 'ls -F' listings.
7018
7019 1996-09-15  Hrvoje Niksic  <hniksic@srce.hr>
7020
7021         * url.c (parseurl): Remove realloc() and sprintf().
7022         (str_url): Get rid of sprintf().
7023
7024         * recur.c (recursive_retrieve): Enable FTP recursion through proxy
7025         servers.
7026
7027         * url.h (URL_CLEANSE): Made it else-resistant.
7028         (USE_PROXY): New macro.
7029
7030 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
7031
7032         * NEWS: Update.
7033
7034         * version.c: Changed version to 1.4b19.
7035
7036 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
7037
7038         * version.c: "Released" 1.4b18.
7039
7040         * url.c: Made it reallocate space exponentially.
7041
7042 1996-09-14  Drazen Kacar  <dave@fly.cc.fer.hr>
7043
7044         * html.c (htmlfindurl): Added <frame src> and <iframe src> among
7045         the list of stuff to fetch.
7046
7047 1996-09-13  Hrvoje Niksic  <hniksic@srce.hr>
7048
7049         * url.c (get_urls_html): Fixed a bug that caused SIGSEGV's with
7050         -Fi.
7051
7052         * html.c (htmlfindurl): Rewrite.
7053
7054         * http.c (gethttp): Use opt.proxy_cache.
7055
7056         * main.c (main): Added --cache option.
7057
7058         * ftp.c (ftp_response): Print server response if opt.print_server
7059         response is set.
7060         (getftp): Print newlines after each request if the server response
7061         is to be printed.
7062         (ftp_response): Copy the last response line to last_respline.
7063
7064         * http.c (gethttp): Add Pragma: nocache for retried
7065         proxy-retrievals.
7066
7067         * ftp.c (getftp): Use it.
7068
7069         * retr.c (buf_discard): New function.
7070
7071         * ftp.c (ftp_response): Use buf_readchar().
7072         (getftp): Flush the control connection buffer before calling
7073         get_contents().
7074
7075         * retr.c (buf_readchar): New function.
7076         (buf_flush): New function.
7077         (get_contents): Use buf_readchar() instead of read(x, x, 1).
7078         (get_contents): Use buf_flush.
7079
7080 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
7081
7082         * ftp.c: Incorporate changes to ftp_response.
7083
7084         * ftp.c (ftp_response): Allocate the server response dynamically,
7085         as in read_whole_line and fetch_next_header.
7086
7087         * utils.c (read_whole_line): Fixed a bug that prevented reading
7088         the last line if it is not \n-terminated. Also fixed a possible
7089         memory overflow.
7090
7091         * http.c (fetch_next_header): Return malloc-ed string as large as
7092         needed.
7093         (gethttp): Use new fetch_next_header.
7094
7095 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
7096
7097         * http.c (hgetlen): Compute the header length the first time only.
7098         (hgettype): Ditto.
7099         (hgetlocation): Ditto.
7100         (hgetmodified): Ditto.
7101
7102 1996-09-11  Hrvoje Niksic  <hniksic@srce.hr>
7103
7104         * sample.geturlrc: Update.
7105
7106 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
7107
7108         * http.c (http_loop): Ditto.
7109
7110         * ftp.c (getftp): Open the output file as binary.
7111
7112         * version.c: Changed version to 1.4b18.
7113
7114 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
7115
7116         * version.c: "Released" 1.4b17.
7117
7118         * ftp-unix.c (ftp_parse_ls): If unable to open file, return NULL
7119         instead of failed assertion.
7120
7121 1996-09-09  Hrvoje Niksic  <hniksic@srce.hr>
7122
7123         * ftp.c (ftp_get_listing): Add a numbered suffix to LIST_FILENAME
7124         if a file of that name already exists.
7125
7126 1996-09-05  Hrvoje Niksic  <hniksic@srce.hr>
7127
7128         * ftp.c (ftp_1fl_loop): Handler FTPPORTERR and FOPENERR correctly.
7129
7130         * config.h.in: Define gethostbyname as Rgethostbyname when using
7131         Socks.
7132
7133         * configure.in: Check for -lresolv if using Socks.
7134
7135         * version.c: Changed version to 1.4b17.
7136
7137 1996-07-15  Hrvoje Niksic  <hniksic@srce.hr>
7138
7139         * version.c: "Released" 1.4b16.
7140
7141         * http.c (gethttp): More intelligent check for first line of HTTP
7142         response.
7143         (gethttp): Would bug out on time-stamping.
7144
7145         * version.c: Changed version to 1.4b16.
7146
7147 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
7148
7149         * version.c: Released 1.4b15.
7150
7151         * http.c (http_loop): Print \n after the loop entry, not before.
7152
7153         * url.c (url_filename): Use ISDOT.
7154
7155         * url.h (ISDOT): New macro.
7156
7157         * recur.c (recursive_retrieve): Change only opt.recursive for
7158         following FTP.
7159
7160 1996-07-11  Antonio Rosella <antonio.rosella@agip.it>
7161
7162         * socks/geturl.cgi: Fixed version No.
7163
7164         * socks/download-netscape.html: Ditto.
7165
7166         * socks/download.html: Changed socks.html to download.html.
7167
7168 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
7169
7170         * url.c (url_filename): Check for opt.dirstruct instead for
7171         opt.recursive && opt.dirstruct.
7172
7173         * init.c (defaults): Ditto.
7174         (defaults): Reset dirstruct by default.
7175         (setval): Set opt.dirstruct whenever setting recursive.
7176
7177         * init.h: Removed FORCEDIRHIER.
7178
7179         * INSTALL: Added -L to socks-description.
7180
7181         * version.c: Changed version to 1.4b15.
7182
7183 1996-07-10  Hrvoje Niksic  <hniksic@srce.hr>
7184
7185         * version.c: "Released" 1.4b14.
7186
7187         * geturl.1: Update AUTHOR to include Rosella as contributor.
7188
7189         * NEWS: Update.
7190
7191         * socks/geturl.cgi: Simplified command creation, nuked <blink>.
7192
7193         * socks/geturl.cgi: Wrap nutscape extensions within if $netscape.
7194         (cal_time): Fix == to eq.
7195
7196         * socks/geturl.cgi: GPL-ized with permission of A. Rosella.
7197
7198         * geturl.1 (hostname): Moved URL CONVENTIONS to the beginning.
7199
7200         * Makefile.in: Use @VERSION@.
7201
7202         * configure.in: Check version from version.c.
7203
7204         * socks/geturl.cgi: Changed /pub/bin/perl to /usr/bin/perl.
7205
7206         * socks/download.html: Created from download-netscape.html, made
7207         HTML-2.0 compliant.
7208
7209         * recur.c (recursive_retrieve): Set opt.force_dir_hier when
7210         following FTP links from recursions.
7211
7212 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
7213
7214         * url.c (mymkdir): Fixed a bug that prevented mymkdir() to create
7215         absolute directories correctly.
7216
7217         * version.c: Changed version to 1.4b14.
7218
7219 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
7220
7221         * version.c: "Released" 1.4b13.
7222
7223         * url.c (make_backup): New function.
7224
7225         * http.c (http_loop): Make a backup copy of the local file (using
7226         rename(2)) before opening it.
7227
7228         * main.c (main): Added --backups.
7229
7230         * host.c (ftp_getaddress): Bail out on failed mycuserid().
7231         (ftp_getaddress): Check for leading dot on MY_DOMAIN.
7232         (ftp_getaddress): Check for empty, null or (null) domain.
7233
7234         * url.c (get_urls_html): If this_url is NULL, the base must have a
7235         protocol.
7236         (parseurl): Use has_proto.
7237
7238         * retr.c (retrieve_url): Warn when proxy is used with more than 20
7239         retries.
7240
7241         * url.c (mkstruct): Create the directory (calling mymkdir()) only
7242         if it is not already there.
7243         (has_proto): New function.
7244         (get_urls_html): Eliminate the remaining call to findurl -- use
7245         has_proto.
7246
7247         * geturl.1: Ditto.
7248
7249         * main.c: Change -X to -x.
7250
7251         * url.c (url_filename): Simplify creation of filename if
7252         prefix_files is set.
7253         (url_filename): Simplify everything. And I do mean *everything*.
7254         (mkstruct): Add dir_prefix before hostname.
7255         (path_simplify): Fixed a bug that caused writing outside the path
7256         string in case of "." and ".." path strings.
7257
7258 1996-07-06  Hrvoje Niksic  <hniksic@srce.hr>
7259
7260         * init.c: Added --mirror.
7261
7262         * main.c (main): Added -X to force saving of directory hierarchy.
7263
7264         * ftp.c (ftp_retrieve_list): Added recursion depth counter.
7265         (ftp_retrieve_list): Check whether quota is exceeded.
7266
7267         * url.c (get_urls_html): Skip leading blanks for absolute URIs.
7268
7269         * http.c (gethttp): Use referer if present.
7270
7271         * recur.c (recursive_retrieve): Set u->referer before calling
7272         retrieve_url.
7273
7274         * url.c (newurl): Use memset to nullify the struct members.
7275         (freeurl): Free the referer field too.
7276
7277         * url.h: Added referer to urlinfo.
7278
7279         * geturl.1: Updated the manual to document some of the new features.
7280
7281         * utils.c (numdigit): Moved from url.c.
7282
7283         * README: Rewritten.
7284
7285         * config.h.in: Add the support for socks.
7286
7287         * configure.in: Add the support for socks.
7288
7289         * url.c (url_filename): If the dir_prefix is ".", work with just
7290         the file name.
7291         (url_filename): Do not look for .n extensions if timestamping if
7292         turned on.
7293
7294         * retr.c (show_progress): Skip the over-abundant restval data, and
7295         print the rest of it with ',' instead of '.'.
7296
7297 1996-07-05  Hrvoje Niksic  <hniksic@srce.hr>
7298
7299         * retr.c (show_progress): Changed second arg. to long (as it
7300         should be).
7301         (show_progress): Moved to retr.c.
7302         (get_contents): Moved to retr.c.
7303
7304         * version.c: Change version to 1.4b13.
7305
7306 1996-07-05  Hrvoje Lacko <hlacko@fly.cc.fer.hr>
7307
7308         * url.c (in_acclist): Would return after the first suffix.
7309
7310 1996-07-04  Hrvoje Niksic  <hniksic@srce.hr>
7311
7312         * version.c: "Released" 1.4b12.
7313
7314         * url.c (path_simplify): More kludgifications.
7315         (get_urls_html): Use new parameters for htmlfindurl.
7316
7317         * html.c: Removed memorizing "parser states", since the new
7318         organization does not require them.
7319
7320         * init.c (run_geturlrc): Use read_whole_line.
7321
7322         * ftp-unix.c (ftp_parse_ls): Use read_whole_line.
7323
7324         * recur.c (parse_robots): Use read_whole_line.
7325
7326         * utils.c (read_whole_line): New function.
7327
7328         * recur.c (tried_robots): Use add_slist/in_slist, *much* cleaner.
7329
7330         * host.c (ngethostbyname): Call inet_addr just once. Yet to be
7331         tested on OSF and Ultrix.
7332         (add_hlist): New function.
7333         (free_hlist): New function.
7334         (search_host): New function.
7335         (search_address): New function.
7336         (realhost): Use search_host, search_address and add_hlist.
7337         (same_host): Replaced realloc() with strdupdelim(), made
7338         case-insensitive, fixed a memory leak.
7339
7340         * html.c (ftp_index): Fixed tm_min and tm_sec to be tm_hour and
7341         tm_min, like intended.
7342
7343         * version.c: Change user agent information to
7344         Geturl/version.
7345
7346 1996-07-03  Hrvoje Niksic  <hniksic@srce.hr>
7347
7348         * utils.c: Renamed nmalloc.c to utils.c, .h likewise.
7349
7350         * url.c (acceptable): Always accept directories.
7351
7352         * ftp-unix.c (ftp_parse_ls): Support brain-damaged "ls -F"-loving
7353         servers by stripping trailing @ from symlinks and trailing / from
7354         directories.
7355
7356         * ftp.c (ftp_loop): Debugged the "enhanced" heuristics. :-)
7357
7358         * url.c (skip_url): Use toupper instead of UCASE.
7359
7360         * host.c (sufmatch): Made it case-insensitive.
7361
7362         * url.c (match_backwards_or_pattern): Fixed i == -1 to j == -1.
7363         (match_backwards): New function, instead of
7364         match_backwards_or_pattern.
7365
7366         * recur.c (recursive_retrieve): Increased performance by
7367         introducing inl, which reduces number of calls to in_slist to only
7368         one.
7369
7370         * ftp.c (ftp_loop): Enhanced the heuristics that decides which
7371         routine to use.
7372
7373         * main.c (printhelp): Removed the warranty stuff.
7374
7375 1996-07-02  Hrvoje Niksic  <hniksic@srce.hr>
7376
7377         * url.c (add_slist): Simplify.
7378         (match_backwards_or_pattern): New function.
7379         (in_acclist): Use match_backwards_or_pattern.
7380         (matches): Remove.
7381
7382 1996-06-30  Hrvoje Niksic  <hniksic@srce.hr>
7383
7384         * ftp.c (ftp_loop): Call ftp_index on empty file names, if not
7385         recursive.
7386
7387         * html.c (ftp_index): Fixed to work. Beautified the output.
7388
7389         * ftp.c (ftp_retrieve_glob): Another argument to control whether
7390         globbing is to be used.
7391         (ftp_retrieve_list): Compare the time-stamps of local and remote
7392         files to determine whether to download.
7393
7394 1996-06-29  Hrvoje Niksic  <hniksic@srce.hr>
7395
7396         * ftp.c (rel_constr): New function.
7397
7398         * retr.c (retrieve_from_file): Check for text/html before
7399         retrieving recursively.
7400
7401         * main.c (main): Check whether the file is HTML before going into
7402         recursive HTML retrieving.
7403
7404         * ftp.c (ftp_retrieve_list): Manage directories.
7405         (ftp_retrieve_glob): Pass all the file-types to ftp_retrieve_list.
7406         (ftp_1fl_loop): Fixed a bug that caused con->com to be incorrectly
7407         initialized, causing bugchecks in getftp to fail.
7408
7409         * configure.in: Check for symlink.
7410
7411         * ftp.c (ftp_retrieve_list): Added support for symlinks.
7412
7413         * version.c: "Released" 1.4b10.
7414
7415         * atotm.c (atotm): Redeclared as time_t.
7416
7417         * init.c: New variable "timestamping".
7418
7419         * main.c (main): New option 'N'.
7420
7421         * http.c (hgetlocation): Case-insensitive match.
7422         (hgetmodified): New function.
7423         (http_loop): Implement time-stamping.
7424
7425 1996-06-28  Hrvoje Niksic  <hniksic@srce.hr>
7426
7427         * version.c: Changed version to 1.4b10
7428
7429         * atotm.c: New file, from phttpd.
7430
7431         * options.h (struct options): New parameter timestamping.
7432
7433         * version.c: 1.4b9 "released".
7434
7435         * recur.c (recursive_retrieve): Used linked list (ulist) for
7436         faster storing of URLs.
7437
7438         * url.c (get_urls_html): Removed the old kludge with comparing the
7439         outputs of htmlfindurl and findurl.
7440         (get_urls_html): Added better protocol support here.
7441         (create_hash): Removed, as well as add_hash and in_hash.
7442         (addslist): New function.
7443         (in_slist): ditto
7444
7445         * version.c: Released 1.4b8, changed version to b9.
7446
7447 1996-06-27  Hrvoje Niksic  <hniksic@srce.hr>
7448
7449         * ftp.c (freefileinfo): New function.
7450         (delelement): New function.
7451
7452         * everywhere: GPL!
7453
7454         * ftp.c (ftp_loop): Use ccon.
7455         (ftp_retrieve_glob): Likewise.
7456
7457         * ftp.h: Define ccon, to define status of control connection.
7458
7459         * ftp.c (ftp_get_listing): New function.
7460         (ftp_retrieve_more): New function.
7461         (ftp_retrieve_glob): New function.
7462
7463 1996-06-25  Hrvoje Niksic  <hniksic@srce.hr>
7464
7465         * configure.in: Removed the search for cuserid().
7466
7467         * init.c (getmode): Renamed to getperms.
7468
7469 1996-06-24  Hrvoje Niksic  <hniksic@srce.hr>
7470
7471         * version.c: New version.
7472
7473         * main.c (hangup): New function, that handles hangup. Hangup
7474         signal now causes geturl to stop writing on stdout, and to write
7475         to a log file.
7476
7477         * ftp.c (getftp): "Released" 1.4b7.
7478
7479         * html.c (htmlfindurl): Ignore everything inside <head>...</head>.
7480         (ftp_index): Use fileinfo/urlinfo.
7481
7482         * ftp-unix.c (ftp_parse_ls): New function.
7483         (symperms): New function.
7484
7485         * ftp.c (ftp_1fl_loop): New function, to handle 1-file loops.
7486
7487         * retr.c (retrieve_url): Added FTP support.
7488
7489 1996-06-23  Hrvoje Niksic  <hniksic@srce.hr>
7490
7491         * geturl.h: Removed NOTFTP2HTML enum.
7492         Added DO_LOGIN, DO_CWD and DO_LIST. LIST_ONLY is obsolete.
7493
7494         * ftp.c (getftp): Resynched with urlinfo.
7495         (getftp): Removed HMTL-ization of index.html from getftp.
7496
7497         * version.c: 1.4b6 "released".
7498
7499         * options.h (options): New struct, to keep options in.
7500
7501         * http.c (http_loop,gethttp): Synched with proxy.
7502
7503         * retr.c (retrieve_url): Implemented proxy retrieval.
7504
7505         * main.c (main): Use retrieve_from_file.
7506
7507 1996-06-22  Hrvoje Niksic  <hniksic@srce.hr>
7508
7509         * retr.c (retrieve_from_file): New function.
7510
7511         * url.c (parseurl): Modified to return URLOK if all OK. Protocol
7512         can be found in u->proto.
7513
7514         * ftp.c (ftp_response): Fixed to accept multi-line responses as
7515         per RFC 959.
7516
7517         * recr.c (recursive_retrieve): Take newloc from retrieve_url.
7518
7519         * url.c (mymkdir): Removed the file of the same name, if one
7520         exists.
7521         (isfile): New function.
7522         (mkstruct): Fixed the '/' glitches.
7523         (path_simplify): Hacked to treat something/.. correctly.
7524
7525 1996-06-21  Hrvoje Niksic  <hniksic@srce.hr>
7526
7527         * http.c (gethttp): Close the socket after error in headers.
7528         (http_loop): HEOF no longer a fatal header.
7529
7530         * loop.c (retrieve_url): When dt is NULL, do not modify it. This
7531         simplifies the syntax of calling retrieve_url.
7532
7533         * recr.c (recursive_retrieve): Modified to use get_urls_html.
7534
7535         * url.c (get_urls_file): New function.
7536         (get_urls_html): New function.
7537
7538         * recr.c (recursive_retrieve): Patched up to conform to the
7539         standards.
7540
7541         * http.c (gethttp): Synched with the rest...
7542         (gethttp): Treat only CONREFUSED specially, with connection
7543         errors.
7544
7545         * init.c,geturl.1,http.c (http_loop): Removed kill_error.
7546
7547 1996-06-20  Hrvoje Niksic  <hniksic@srce.hr>
7548
7549         * http.c (http_loop): New function.
7550
7551         * loop.c: Removed *lots* of stuff from retrieve_url.
7552
7553         * url.c (parseurl): Changed to work with urlinfo. Integrated
7554         username finding and path parsing.
7555         (newurl): New function.
7556         (freeurl): New function.
7557         (mkstruct): Removed the old bogosities, made it urlinfo-compliant.
7558         (url_filename): Likewise.
7559         (path_simplify): Accept relative paths too.
7560         (opt_url): Made urlinfo-compliant, removed bogosities.
7561         (path_simplify): Expanded to accept relative paths.
7562         (str_url): A replacement for hide_url
7563         (decode_string): Fixed a bug that caused malfunctioning when
7564         encountering an illegal %.. combination.
7565         (opt_url): Removed the argument. Dot-optimizations are now default.
7566
7567         * nmalloc.c (strdupdelim): New function.
7568
7569         * url.h: Added the urlinfo structure
7570
7571 1996-06-19  Hrvoje Niksic  <hniksic@srce.hr>
7572
7573         * url.c (hide_url): Thrown out the protocol assertion. Do not
7574         change the URL if the protocol if not recognized.
7575         (findurl): Put continue instead of break.
7576
7577 1996-06-18  Hrvoje Niksic  <hniksic@srce.hr>
7578
7579         * sample.geturlrc: Changed the defaults to be commented out and
7580         harmless (previous defaults caused pains if copied to
7581         ~/.geturlrc).
7582
7583         * http.c (gethttp): Print the HTTP request in debug mode.
7584
7585         * connect.c (iread): Added EINTR check loop to select-ing
7586         too. EINTR is now correctly handled with select().
7587
7588         * TODO: new file
7589
7590 1996-05-07  Hrvoje Niksic  <hniksic@srce.hr>
7591
7592         * host.c (same_host): Made the function a little bit more
7593         intelligent regarding diversified URL syntaxes.
7594
7595         * url.c (skip_url): Spaces are now skipped after URL:
7596
7597         * Released 1.3.1 with the patch to prevent crashing when sending
7598         NULL to robot* functions and the patch to compile "out of the box"
7599         on AIX.
7600
7601         * recr.c (recursive_retrieve): Added checking whether this_url is
7602         NULL when calling the robot functions.
7603
7604         * ChangeLog: New file.