]> sjero.net Git - wget/blob - src/ChangeLog
[svn] Renamed wget.h XDIGIT-related macros to (hopefully) clearer names.
[wget] / src / ChangeLog
1 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
2
3         * wget.h (BOUNDED_TO_ALLOCA): Evaluate PLACE only once.
4         (ARRAY_SIZE): Renamed to countof.  All callers updated.
5
6 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
7
8         * main.c (main): New option --strict-comments.
9
10         * html-parse.c (find_comment_end): New function: simple BM search
11         for "-->".
12         (map_html_tags): Use it if looking at a comment and not in strict
13         comments mode.
14
15 2003-09-17  Aurelien Marchand  <artaxerxes@users.sf.net>
16
17         * ftp.h: Added OS400 system in enum
18         * ftp-basic.c: recognize OS400 systems
19         * ftp.c: don't prepend the CWD if talking to OS400, since it
20         breaks the change in library
21
22 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
23
24         * retr.c (get_contents): Pass the correct argument to ssl_iread.
25
26 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
27
28         * safe-ctype.h: Don't #define ctype.h macros to errors because
29         that loses when someone #include's ctype.h after safe-ctype.h.
30
31 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
32
33         * url.c: Undef U, W, C after use.
34
35 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
36
37         * init.c (cmd_spec_restrict_file_names): Allow the OS setting to
38         be augmented by ",nocontrol" which means don't escape the control
39         characters, but otherwise keep OS settings.
40
41         * url.c (file_unsafe_char): Deleted.
42         (append_uri_pathel): Query filechr_table directly.
43         (filechr_table): Separated Unix, Windows, and control-unsafe
44         characters.
45
46 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
47
48         * url.c (url_escape_1): New function.
49         (url_escape): Use it.
50         (sync_path): Handle pathological cases where u->file and u->dir
51         contain really strange characters.
52         (ENCODE): Deleted.
53         (REENCODE): Deleted.
54
55 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
56
57         * url.c (url_file_name): Don't reallocate FNAME if the file
58         doesn't exist, as is usually the case.
59
60         * utils.c (unique_name): New flag allow_passthrough.
61
62 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
63
64         * utils.c (wtimer_sys_diff): Convert the time difference to signed
65         __int64, then to double.  This works around MS VC++ 6 which can't
66         convert unsigned __int64 to double directly.
67
68 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
69
70         * Makefile.in (clean): Also remove the core.<number> files
71         produced by recent Linux systems.
72
73 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
74
75         * http.c (post_file): Don't pad the file if it's not large
76         enough.  Bail out instead.
77
78 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
79
80         * retr.c (get_contents): Reduce the buffer size to the amount of
81         data that may pass through for one second.  This prevents long
82         sleeps when limiting bandwidth.
83
84         * connect.c (connect_to_one): Reduce the socket's RCVBUF when
85         bandwidth limitation to small values is requested.
86
87 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
88
89         * progress.c (update_speed_ring): Moved the speed ring update to a
90         separate function and documented it better.
91
92         * progress.c: Use `double' for most timers to support granularity
93         smaller than 1ms.
94
95 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
96
97         * wget.h (XDIGIT_TO_XCHAR): Implement as index into a literal
98         string.
99         (XDIGIT_TO_xchar): Ditto.
100
101 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
102
103         * utils.c: Change the type of timer-related functions from long to
104         double, for better precision.  On machines supporting gettimeofday
105         the timers now work with granularity of less than one millisecond.
106
107 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
108
109         * cookies.c (parse_set_cookies): Fixed the parser to handle more
110         edge conditions.
111         (test_cookies): New function, contains a test suite for
112         parse_set_cookies.
113
114 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
115
116         * url.c (strpbrk_or_eos): Implement as a macro under Gcc.
117
118 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
119
120         * cookies.c (parse_set_cookies): Allow trailing space in
121         set-cookies header.  Also, allow any amount of whitespace, not
122         only one character.  Allow empty set-cookies header without
123         spewing an error.
124
125 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
126
127         * url.c (append_uri_pathel): Use opt.restrict_file_names when
128         calling file_unsafe_char.
129
130         * init.c: New command restrict_file_names.
131
132         * main.c (main): New option --restrict-file-names[=windows,unix].
133
134         * url.c (url_file_name): Renamed from url_filename.
135         (url_file_name): Add directory and hostdir prefix here, not in
136         mkstruct.
137         (append_dir_structure): New function, does part of the work that
138         used to be in mkstruct.  Iterates over path elements in u->path,
139         calling append_uri_pathel on each one to append it to the file
140         name.
141         (append_uri_pathel): URL-unescape a path element and reencode it
142         with a different set of rules, more appropriate for handling of
143         files.
144         (file_unsafe_char): New function, uses a lookup table to decide
145         whether a character should be escaped for use in file name.
146         (append_string): New utility function.
147         (append_char): Ditto.
148         (file_unsafe_char): New argument restrict_for_windows, decide
149         whether Windows file names should be escaped in run-time.
150
151         * connect.c: Include <stdlib.h> to get prototype for abort().
152
153 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
154
155         * utils.c (wtimer_sys_set): Extracted the code that sets the
156         current time here.
157         (wtimer_reset): Call it.
158         (wtimer_sys_diff): Extracted the code that calculates the
159         difference between two system times here.
160         (wtimer_elapsed): Call it.
161         (wtimer_elapsed): Don't return a value smaller than the previous
162         one, which could previously happen when system time is set back.
163         Instead, reset start time to current time and note the elapsed
164         offset for future calculations.  The returned times are now
165         guaranteed to be monotonically nondecreasing.
166
167 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
168
169         * host.c (lookup_host): Print the result of the DNS lookup.
170
171 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
172
173         * init.c (cmd_boolean): Accept yes/no along with on/off.
174         (cmd_lockable_boolean): Ditto.
175
176 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
177
178         * init.c: New command dns_cache.
179
180         * main.c (main): New option --dns-cache[=off].
181
182 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
183
184         * config.h.in: Initialize HAVE_GETADDRINFO and ENABLE_IPV6.
185
186         * all: Use #ifdef ENABLE_IPV6 instead of the older INET6.  Use
187         HAVE_GETADDRINFO for getaddrinfo-related stuff.
188
189 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
190
191         * url.c (url_parse): Return an error if the URL contains a [...]
192         IPv6 numeric address and we don't support IPv6.
193
194 2003-09-05  Hrvoje Niksic  <hniksic@xemacs.org>
195
196         * url.c (is_valid_ipv6_address): Modified to not require
197         zero-terminated strings.
198         (is_valid_ipv4_address): Ditto.
199
200 2003-09-05  Mauro Tortonesi <mauro@deepspace6.net>
201
202         src/url.c: added RFC 2732 compliance for URL parsing. The
203         functions is_*_address valid are a modified version of
204         glibc 2.3.2 inet_pton's code.
205
206 2003-09-03  Ahmon Dancy  <dancy@dancysoft.com>
207
208         * main.c init.c options.h: Added --retry-connrefused option so
209         that Connection Refused failures are treated as non-fatal (when
210         trying to retrieve from busy servers).
211
212         * wget.h: New CONNECT_ERROR macro for encapsulating this
213         modification.
214
215         * ftp.c http.c : Use CONNECT_ERROR macro in places where
216         ECONNREFUSED was checked.
217
218 2003-01-11  Ian Abbott  <abbotti@mev.co.uk>
219
220         * ftp.c (ftp_retrieve_glob): Reject insecure filenames as determined
221         by calling new function has_insecure_name_p.  This is based on a
222         patch by Red Hat.
223
224         * fnmatch.c (has_insecure_name_p): New function: returns non-zero
225         if filename starts with `/' or contains `../' and is therefore
226         considered insecure.
227
228         * fnmatch.h: Declare has_insecure_name_p().
229
230 2002-08-03  Hrvoje Niksic  <hniksic@xemacs.org>
231
232         * init.c (cmd_file): Allocate RESULT correctly.
233
234 2002-07-24  Hrvoje Niksic  <hniksic@xemacs.org>
235
236         * recur.c (retrieve_tree): Check whether downloaded_html_set is
237         non-NULL before using it.
238
239 2002-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
240
241         * html-parse.c (NAME_CHAR_P): Allow almost any character here.
242
243 2002-05-24  Hrvoje Niksic  <hniksic@arsdigita.com>
244
245         * progress.c (bar_set_params): Fall back to dot progress if the
246         terminal type is "emacs".
247
248 2002-05-20  Hrvoje Niksic  <hniksic@arsdigita.com>
249
250         * log.c: Don't #undef WGET_USE_STDARG.
251
252 2002-05-16  Hrvoje Niksic  <hniksic@arsdigita.com>
253
254         * hash.c (prime_size): Store the offset of the prime number in the
255         prime table.  When searching, start with the given offset.
256         (hash_table_new): Pass the pointer to ht->prime_offset to
257         prime_size.
258         (grow_hash_table): Ditto.
259         (prime_size): Make 13 the first prime to make empty hash tables
260         slightly smaller.
261
262 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
263
264         * recur.c (download_child_p): Minor optimization to avoid an
265         unnecessary additional call to schemes_are_similar_p function.
266
267 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
268
269         * url.c (schemes_are_similar_p): New function to test enumerated
270         scheme codes for similarity.
271
272         * url.h: Declare it.
273
274         * recur.c (download_child_p): Use it to compare schemes.  This
275         also fixes a bug that allows hosts to be spanned (without the
276         -H option) when the parent scheme is https and the child's is
277         http or vice versa.
278
279 2002-05-14  Bill Richardson  <bill@riverstonenet.com>
280
281         * ftp.c (getftp): Don't ftruncate stdout.
282
283         * http.c (gethttp): Don't ftruncate stdout.
284
285 2002-05-09  Ian Abbott  <abbotti@mev.co.uk>
286
287         * cmpt.c (strptime_internal): Synched with glibc-2.1.3.
288         (get_number): Ditto.
289         (get_alt_number): Ditto.
290         (__isleap): New function-like macro used by strptime.
291         (day_of_the_week): New function used by strptime.
292         (day_of_the_year): Ditto.
293         (__mon_yday): Now shared by mktime and strptime implementations.
294
295 2002-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
296
297         * cookies.c (check_domain_match): Use match_tail in case
298         insensitive mode.
299
300         * utils.c (match_tail): Allow the caller to specify case
301         insensitive mode.
302
303         * cookies.c (store_cookie): When expiry_time is 0, print it as
304         undefined, not indefinite.
305
306 2002-05-07  Ian Abbott  <abbotti@mev.co.uk>
307
308         * cookies.c (cookie_jar_process_set_cookie): Do not store
309         discarded cookie.
310
311 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
312
313         * cookies.c (check_domain_match): Allow cookies to be set for
314         subdomains of unknown top-level domains under some circumstances.
315
316 2002-04-21  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
317
318         * gen_ssl.c:
319         - allow checking of server cert
320         - allow defining client cert type
321         - allow limit of ssl protocol
322         - check more return values
323         - added debug message on break
324
325 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
326
327         * recur.c (download_child_p): Revert order of items in check
328         number 6 for clarity.
329
330 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
331
332         * init.c: Ditto.
333
334         * main.c: Ditto.
335
336         * http.c: Use the new interface.
337
338         * cookies.c: Provide an OO-style "cookie jar" interface to enable
339         separate cookie jars.
340
341         * http.c (http_atotm): Declare argument as const.
342
343 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
344
345         * cookies.c (cookie_new): Default to PORT_ANY.
346         (find_cookie_chain_exact): Only search by DOMAIN.
347         (find_matching_cookie): Also check that PORT matches.
348         (store_cookie): Only match the domain.
349         (set_cookie_header_cb): When a cookie "fakes" a domain, assume it
350         is valid for that host rather than discarding it completely.
351         (find_matching_chains): Don't search by PORT.
352         (matching_cookie): Also match PORT.
353         (load_cookies): Set the port if specified, otherwise leave it as
354         ANY.
355         (save_cookies_mapper): Save the port if specified, otherwise leave
356         it empty.
357
358 2002-04-19  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
359
360         * init.c: The option `egdfile' was not in sort order.
361
362 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
363
364         * ftp.c (getftp): Treat directories that begin with <letter>: as
365         absolute.
366         (getftp): Strip trailing slashes from con->id before merging it
367         with TARGET.
368
369 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
370
371         * http.c (gethttp): If Content-Type is not given, assume
372         text/html.
373
374 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
375
376         * recur.c (download_child_p): Don't ignore rejection of HTML
377         documents that are themselves leaves of recursion.
378
379 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
380
381         Makefile.in: Updated several dependencies for object files to take
382         account of nested include files.
383
384 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
385
386         Makefile.in: The target `connect$o' (connect.o) now depends on
387         `utils.h'
388
389 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
390
391         * host.c (SET_H_ERRNO): New function-like macro to set `h_errno'.
392         (gethostbyname_with_timeout): Use it.
393
394         * utils.c: Don't define `SETJMP()', `run_with_timeout_env' or
395         `abort_run_with_timeout()' when `USE_SIGNAL_TIMEOUT' is undefined.
396
397 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
398
399         * host.c (getaddrinfo_with_timeout): New function.
400         (gethostbyname_with_timeout): Ditto.
401         (lookup_host): Use them.
402
403 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
404
405         * utils.c (number_to_string): Handle the case when n < -INT_MAX.
406
407 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
408
409         * init.c (comind): Use a marginally faster implementation of
410         binary search.  To quote Martin Buchholz, "a nanosecond saved is a
411         nanosecond earned."
412
413 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
414
415         * main.c (print_help): Document `--post-data' and `--post-file'.
416
417 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
418
419         * http.c (gethttp): Ditto.
420
421         * retr.c (retrieve_url): Initialize variables to appease the
422         compiler.
423
424         * gen_sslfunc.c (ssl_iread): Don't handle EINTR when calling
425         select_fd.
426         (ssl_iwrite): Ditto.
427
428         * connect.c (select_fd): Rewrite to handle EINTR.  Set errno to
429         ETIMEDOUT in case of timeout.
430         (iread): No need to handle EINTR when calling select_fd.
431         (iwrite): Ditto.
432
433 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
434
435         * retr.c (retrieve_url): Make sure that POST is not honored for
436         redirections.
437
438         * http.c (gethttp): Send the POST data when requested.
439         (post_file): New function.
440         (gethttp): Use it.
441
442         * main.c (main): Ditto.
443
444         * init.c: Add new options.
445
446         * options.h (struct options): New options post_data and
447         post_file_name.
448
449 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
450
451         * connect.c (connect_with_timeout): Firing SIGALRM can result in
452         connect() exiting with EINTR.  Treat EINTR the same as ETIMEDOUT.
453
454 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
455
456         * connect.c (connect_with_timeout): Use it.
457
458         * utils.c (run_with_timeout): New function.
459
460 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
461
462         * url.c (getproxy): Accept a struct url argument.  This obviates
463         the need for USE_PROXY_P.
464
465         * retr.c (retrieve_url): Allow proxy to be a non-FTP URL.
466
467         * ftp.c (getftp): Recognize FWTK-style proxy.
468
469 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
470
471         * config.h.in: Only define _VA_LIST when compiled with gcc.
472
473 2002-04012  Ian Abbott  <abbotti@mev.co.uk>
474
475         * http.c (http_loop): Compensate for MS Windows two-second
476         granularity of file modification time when comparing timestamps.
477
478         * ftp.c (ftp_retrieve_list): Ditto.
479
480 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
481
482         * utils.c (has_html_suffix_p): New function to test filename for
483         common html extensions.
484
485         * utils.h: Declare it.
486
487         * http.c (http_loop): Use it instead of previous test.
488
489         * retr.c (retrieve_url): Ditto.
490
491         * recur.c (download_child_p): Ditto.
492
493 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
494
495         * config.h.in: Define _VA_LIST on Solaris to prevent stdio.h from
496         declaring va_list.
497         From Kevin Rodgers <kevinr@ihs.com>.
498
499 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
500
501         * Makefile.in: Specify libtool mode explicitly when linking.
502
503 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
504
505         * connect.c (connect_with_timeout): New function.
506         (connect_to_one): Use it.
507
508         * config.h.in: Add stubs for HAVE_SIGSETJMP, HAVE_SIGBLOCK, and
509         HAVE_SETJMP_H.
510
511 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
512
513         * log.c: Set WGET_USE_STDARG if __STDC__ is defined and stdarg.h
514         is present.
515
516 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
517
518         * progress.c (bar_create): If INITIAL is larger than TOTAL, fix
519         TOTAL.
520         (bar_finish): Likewise.
521
522 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
523
524         * html-url.c (tag_handle_form): New function.  Pick up form
525         actions and mark them for conversion only.
526
527 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
528
529         * progress.c (struct progress_implementation): Use PARAMS when
530         declaring the parameters of *create, *update, *finish, and
531         *set_params.
532
533         * netrc.c: Ditto.
534
535         * http.c: Reformat some function definitions so that ansi2knr can
536         read them.
537
538         * hash.c (struct hash_table): Use the PARAMS macro around
539         parameters in the declaration of hash_function and test_function.
540         (prime_size): Spell 2580823717UL and 3355070839UL as (unsigned
541         long)0x99d43ea5 and (unsigned long)0xc7fa5177 respectively, so
542         that pre-ANSI compilers can read them.
543         (find_mapping): Use PARAMS when declaring EQUALS.
544         (hash_table_put): Ditto.
545
546         * ftp.h: Wrap the parameters of ftp_index declaration in PARAMS.
547
548         * cookies.c (cookie_new): Use (unsigned long)0 instead of 0UL,
549         which was unsupported by pre-ANSI compilers.
550
551         From Nelson H. F. Beebe <beebe@math.utah.edu>, for the most part.
552
553 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
554
555         * url.c (url_filename): Use compose_file_name regardless of
556         whether opt.dirstruct is set.
557         (mkstruct): Don't handle the query and the reencoding of DIR; that
558         is done in compose_file_name.
559
560 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
561
562         * wget.h: Ditto for extern char *exec_name.
563
564         * options.h: Don't guard against OPTIONS_DEFINED_HERE -- it is
565         perfectly legal to follow an `extern' with a non-`extern' ones,
566         provided the types match.
567
568         * main.c: Don't define OPTIONS_DEFINED_HERE.
569
570 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
571
572         * progress.c (create_image): Revert to calculating ETA based on
573         average download speed.
574         (create_image): Don't print ETA until the download has been active
575         for at least 3 seconds.
576         (create_image): When ETA is not available, don't print anything.
577         The previous version would print --:--.
578
579 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
580
581         * progress.c (bar_update): Keep updating a subinterval until it
582         reaches or exceeds a watermark.  That way the measurement will be
583         guaranteed to span a configurable minimum of time.  The current
584         default is 3s in 30 100ms intervals.
585
586 2002-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
587
588         * progress.c (bar_update): Maintain an array of the time it took
589         to perform previous 30 network reads.
590         (create_image): Calculate the download speed and ETA based on the
591         last 30 reads, not the entire download.
592         (create_image): Make sure that the ETA is not changed more than
593         once per second.
594
595 2002-04-09  Ian Abbott  <abbotti@mev.co.uk>
596
597         * mswindows.c (borland_utime): New function conditionally defined
598         when `HACK_BCC_UTIME_BUG' is defined.  A reimplementation of
599         `utime()' as Borland's `utime()' function is broken on Windows 9x
600         systems.  (Original patch by Chin-yuan Kuo <sr1111111@yahoo.com.tw>.)
601
602 2002-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
603
604         * ftp.c (ftp_loop): Propagate the result of ftp_retrieve_glob.
605
606 2002-03-26  Ian Abbott  <abbotti@mev.co.uk>
607
608         * Makefile.in: Updated several dependencies for object files.
609
610 2002-03-20  Ian Abbott  <abbotti@mev.co.uk>
611
612         * mswindows.c: Include "utils.h".
613
614 2002-03-18  Ian Abbott  <abbotti@mev.co.uk>
615
616         * host.h: Don't include netdb.h on windows.
617
618 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
619
620         * recur.c (retrieve_tree): Handle the case when start_url doesn't
621         parse.
622
623 2002-02-19  Andreas Damm  <andreas-sourceforge@radab.org>
624
625         * wget.h (DO_REALLOC_FROM_ALLOCA): Multiply with sizeof(type) when
626         calling xmalloc and memcpy.
627
628 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
629
630         * host.h: Include Unix-specific includes #ifndef WINDOWS.
631         Patch originally provided by Christian Lackas.
632
633 2002-02-11  Christian Lackas  <delta@lackas.net>
634
635         * recur.c: recurive downloading for https fixed.
636
637 2002-02-19  Alan Eldridge  <alane@geeksrus.net>
638
639         * host.h: Also include <netinet/in.h> and <sys/socket.h>.
640
641         * ftp-basic.c: Also include <netinet/in.h>.
642
643 2002-02-05  Ian Abbott  <abbotti@mev.co.uk>
644
645         * http.c (gethttp): when -c used, mark already fully retrieved
646         file as successfully retrieved.
647
648 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
649
650         * url.c (url_parse): Don't treat '?' as query string separator
651         when parsing FTP URLs.
652
653 2002-02-01  Hrvoje Niksic  <hniksic@arsdigita.com>
654
655         * html-url.c (tag_handle_meta): Don't crash on <meta
656         http-equiv=refresh> where content is missing.
657
658 2002-01-31  Herold Heiko  <Heiko.Herold@previnet.it>
659
660         * ftp-basic.c, host.c: don't include sys/socket.h, arpa/inet.h,
661         netdb.h on windows.
662
663 2002-01-30  Hrvoje Niksic  <hniksic@arsdigita.com>
664
665         * retr.c (retrieve_url): Remove redirection cycle detection.  This
666         is because some sites legitimately redirect the user back to the
667         same location, e.g. after an authorization check performed by
668         another page.  MAX_REDIRECTIONS is still used to prevent infinite
669         redirection loops.
670
671 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
672
673         * http.c (gethttp): Wrap host name in square brackets if it
674         contains a colon.
675
676 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
677
678         * url.c (url_parse): Allow all hex digits, not only decimal ones,
679         to form an IP address.
680
681 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
682
683         * url.c (urlchr_table): Make square braces reserved, so we can
684         parse http://[::1]/.
685         (url_parse): Handle host in braces.
686         (url_string): If url->host contains colons, wrap it in braces.
687
688 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
689
690         * connect.c (resolve_bind_address): New function.
691         (connect_to_one): Use it.
692         (bindport): Ditto.
693
694         * init.c: Don't resolve bind-address here.
695
696         * host.c (wget_sockaddr_set_address): Would bug out with ADDR == NULL.
697
698 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
699
700         * host.c (lookup_host): Use sizeof(ip4_address) to calculate the
701         offset.
702         (address_list_new): Use map_ipv4_to_ip.
703         (wget_sockaddr_set_address): Convert ADDR to IPv4 before using it
704         in IPv4 context.
705
706 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
707
708         * source: Integrated IPv6 support.
709         Written by Thomas Lussnig <thomas.lussnig@bewegungsmelder.de>.
710
711 2002-01-15  Ian Abbott  <abbotti@mev.co.uk>
712
713         * init.c (cmd_file): Change `\' to `/' for Windows (yes, really!)
714         (cmd_directory): New function. Like cmd_file(), but strips
715         trailing directory separators.
716         (commands): Change action for "dirprefix" from `cmd_file' to
717         `cmd_directory'.
718
719         * utils.c (make_directory): Allow intermediate `mkdir' calls to
720         fail, as not all path components that do not exist should be
721         directory components, especially under Windows.
722
723 2002-01-17  Hrvoje Niksic  <hniksic@arsdigita.com>
724
725         * netrc.c (parse_netrc): Skip leading whitespace before testing
726         whether the line is empty.  Empty lines still contain the line
727         terminator.
728
729 2002-01-15  Hrvoje Niksic  <hniksic@arsdigita.com>
730
731         * gen_sslfunc.c (ssl_iread): Call select on the file descriptor
732         only if no data is pending in SSL buffers.
733         From tony@bluetail.com.
734
735 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
736
737         * headers.c (header_get): Strip trailing whitespace from the
738         header.
739
740 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
741
742         * url.c (parse_uname): URL-decode *USER and *PASSWD.
743
744 2002-01-07  Ian Abbott <abbotti@mev.co.uk>
745
746         * url.c (uri_merge_1): Deal with "net path" relative URL (one that
747         starts with "//").
748
749 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
750
751         * http.c (gethttp): Invalidate SOCK if get_contents encountered an
752         error.
753
754 2001-12-24  Hrvoje Niksic  <hniksic@arsdigita.com>
755
756         * version.c: Wget 1.8.1 is released.
757
758 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
759
760         * version.c: Wget 1.8.1-pre3 is released.
761
762 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
763
764         * recur.c (retrieve_tree): Enqueue the canonical representation of
765         start_url, so that the test against dl_url_file_map works.
766
767 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
768
769         * log.c (logputs): Check for requested verbosity before printing
770         anything.
771
772 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
773
774         * html-url.c (tag_handle_link): Treat the "shortcut icon" link as
775         inline.
776
777 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
778
779         * recur.c (retrieve_tree): Make a copy of file obtained from
780         dl_url_file_map because the code calls xfree(file) later.
781
782 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
783
784         * recur.c (register_html): Maintain a hash table of HTML files
785         along with the list.  Disallow duplicates.
786         (retrieve_tree): Use downloaded_html_set to check whether the file
787         found in dl_url_file_map is an HTML file, and descend into it if
788         so.
789         (convert_all_links): Don't guard against duplicates in
790         downloaded_html_list, since they are no longer possible.
791
792 2001-12-18  Ian Abbott  <abbotti@mev.co.uk>
793
794         * recur.c (retrieve_tree): Pass on referring URL when retrieving
795         recursed URL.
796
797 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
798
799         * version.c: Wget 1.8.1-pre2 is released.
800
801 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
802
803         * retr.c (sleep_between_retrievals): Simplify indentation.
804
805 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
806
807         * gen_sslfunc.c (ssl_init_prng): Use random_number to get a byte
808         of "randomness" at a time.
809         (ssl_init_prng): Don't seed the PRNG; random_number will do that.
810
811         * retr.c (sleep_between_retrievals): Use it.  Make sure that the
812         random amount averages in opt.wait.
813         (sleep_between_retrievals): Don't seed the PRNG; random_number
814         will do that.
815
816         * utils.c (random_number): New function.
817
818 2001-12-14  Hrvoje Niksic  <hniksic@arsdigita.com>
819
820         * url.c (path_simplify): Move here from utils.c, and make static.
821
822 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
823
824         * init.c (wgetrc_file_name): Print correct message when loading
825         getenv("WGETRC") fails.
826
827 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
828
829         * recur.c (register_download): Don't abort when one URL references
830         two different files.
831
832 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
833
834         * http.c (gethttp): Check for conn->scheme, not u->scheme, before
835         calling ssl_iwrite.
836
837 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
838
839         * version.c: Wget 1.8.1-pre1 is released.
840
841 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
842
843         * res.c (matches): Fix broken URL in the docstring.
844
845 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
846
847         * html-url.c (tag_url_attributes): Mark <embed href=...> as
848         external.
849
850 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
851
852         * url.c (get_urls_file): Cosmetic changes.
853
854 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
855
856         * html-url.c (append_one_url): Resurrect warning when unable to
857         resolve a relative link.
858
859 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
860
861         * html-url.c (collect_tags_mapper): Break into several functions.
862         (tag_url_attributes): Collect <embed href=...>.
863
864 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
865
866         * host.c: New type ipv4_address.  Use it consistently instead of
867         `unsigned char[4]' and `unsigned char *'.
868         (pretty_print_address): Accept a `const void *', to require even
869         less casting.
870
871 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
872
873         * ftp-ls.c (ftp_parse_vms_ls): Fix obvious memory leaks.
874
875 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
876
877         * main.c (main): Initialize progress after fork_to_background, so
878         that it knows when to use dots.
879
880         * mswindows.c (ws_hangup): Call log_request_redirect_output.
881
882         * utils.c (fork_to_background): Print the PID of the child
883         process.
884
885         * log.c (log_request_redirect_output): Set a flag that output
886         redirection has been requested.  Doing anything else in a signal
887         handler is unsafe.
888         (check_redirect_output): New function: check whether redirection
889         has been requested and, if so, call redirect_output().
890         (logputs): Call check_redirect_output.
891         (logprintf): Ditto.
892         (debug_logprintf): Ditto.
893         (redirect_output): Print clearer messages.
894
895         * main.c (redirect_output_signal): Don't call
896         redirect_output_signal directly.  Instead, call
897         log_request_redirect_output.
898
899         * utils.c (memfatal): Ditto.
900
901         * progress.c (display_image): Use it.
902
903         * log.c (log_set_save_context): New function: allow the caller to
904         turn off saving log context lines.
905
906 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
907
908         * host.c (address_list_set_faulty): Uncomment a sanity check.
909
910 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
911
912         * utils.c (long_to_string): Return a pointer after where the
913         number ends.
914         (long_to_string): Rename to number_to_string.
915
916 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
917
918         * utils.c (path_simplify): Correctly handle the unlikely case that
919         b starts out as path + 1.
920
921 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
922
923         * utils.c (path_simplify): Rewrite, with better comments, and
924         without the use of strcpy to move overlapping blocks.
925
926 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
927
928         * init.c (cmd_spec_progress): Resurrect.  Check whether VAL is a
929         valid progress type before setting it.
930
931 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
932
933         * main.c (main): Remove stray debugging message.
934
935 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
936
937         * progress.c (create_image): Fix ETA padding when hours are prined.
938
939 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
940
941         * version.c: Wget 1.8 is released.
942
943 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
944
945         * url.c (reencode_string): Declare static.
946
947         * res.c (registered_specs): Declare static.
948
949         * progress.c (current_impl_locked): Declare static.
950
951         * log.c (flush_log_p): Declare static.
952         (needs_flushing): Ditto.
953
954         * http.c (digest_authentication_encode): Declare static.
955
956         * html-url.c (init_interesting): Declare static.
957
958         * host.c (host_name_addresses_map): Declare static.
959
960         * cookies.c (find_matching_chains): Declare static.
961
962         * ftp-ls.c (ftp_parse_vms_ls): Warn about the memory leak
963         indicated by lint.
964
965         * utils.c (path_simplify): Remove unused variable STUB_CHAR.
966
967         * host.c (address_list_set_faulty): Document that INDEX is
968         currently unused.
969
970         * url.c (rewrite_shorthand_url): Remove unused variable PATH.
971
972 2001-12-08  Hrvoje Niksic  <hniksic@arsdigita.com>
973
974         * version.c: Wget 1.8-pre2 is released.
975
976 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
977
978         * progress.c (progress_handle_sigwinch): Set up the signal again.
979
980         * utils.c: Include <sys/termios.h>, where Solaris defines
981         TIOCGWINSZ.
982
983         * progress.c (bar_create): Don't use the last column on the screen.
984         (create_image): Pad ETA to constant size.  Pad SIZE to nine digits
985         only until it exceeded them.
986
987 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
988
989         * version.c: Wget 1.8-pre1 is released.
990
991 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
992
993         * progress.c (progress_create): Make sure that, when the output is
994         redirected, the progress implementation gets changed to the
995         fallback one.
996         (bar_set_params): Set current_impl_locked to 1 when "force" is
997         specified.
998         (progress_create): Don't change the progress implementation if
999         current_impl_locked is non-zero.
1000
1001         * main.c (redirect_output_signal): Call
1002         progress_schedule_redirect.
1003
1004         * progress.c (progress_schedule_redirect): New function.
1005
1006 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1007
1008         * log.c (logvprintf): Restructure to allow being called multiple
1009         times.
1010         (logprintf): Call logvprintf in a loop.
1011         (debug_logprintf): Ditto.
1012
1013 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1014
1015         * gen_sslfunc.c (ssl_init_prng): Allow the user to disable EGD by
1016         setting egd_file it to empty string.
1017
1018         * main.c (main): Change the option name from --sslegdsock to
1019         --egd-file.
1020
1021 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1022
1023         * gen_sslfunc.c (ssl_init_prng): Make the printed message
1024         translatable.
1025
1026 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1027
1028         * url.c (scheme_disable): New function.
1029
1030         * main.c (main): Call ssl_init_prng from here rather than from
1031         init_ssl, so that it has a chance to disable support for https
1032         before a URL has been resolved.
1033
1034         * gen_sslfunc.c (ssl_init_prng): Seed with rand() if all else
1035         failed.
1036         (ssl_init_prng): Disable support for https if seeding the PRNG
1037         fails.
1038
1039 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1040
1041         * utils.c (read_whole_line): Handle lines beginning with \0.
1042
1043 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
1044
1045         * recur.c (convert_all_links): Guard against duplicates in
1046         downloaded_html_files.
1047         (register_download): Don't invalidate similar-looking URLs.
1048         (match_except_index): New function.
1049
1050 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
1051
1052         * utils.c (path_simplify): Document with test cases.
1053
1054 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
1055
1056         * gen_sslfunc.c: Ditto.
1057
1058         * rbuf.c: Include <string.h>.
1059
1060 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
1061
1062         * recur.c (retrieve_tree): Check whether the URL was already
1063         downloaded before downloading it again.
1064         (descend_child_p): Renamed to download_child_p.
1065         (register_download): When one URL is downloaded to a file already
1066         "owned" by another URL, delete all references that map any URL to
1067         that file.
1068         (register_delete_file): New function.
1069         (retrieve_tree): Use it after deleting a file.
1070
1071         * url.c (url_parse): Re-canonicalize the URL also if the path is
1072         empty, so that e.g. "http://www.server.com" ->
1073         "http://www.server.com/".
1074         (lowercase_str): Use ISUPPER instead of !ISLOWER.
1075
1076         * retr.c (retrieve_url): Use the canonical URL form when calling
1077         register_download().
1078
1079 2001-12-04  Ian Abbott <abbotti@mev.co.uk>
1080
1081         * snprintf.c (dopr): Use `unsigned int' as the second argument to
1082         va_arg when casting to `unsigned short' is intended.
1083
1084 2001-12-04  Herold Heiko  <Heiko.Herold@previnet.it>
1085
1086         * gen_sslfunc.c: on windows provide ssl crypto random 
1087           initialization through RAND_screen(); could possibly
1088           be not enough for strong ssl communication (see the 
1089           relevant manual page from the openssl package).
1090
1091 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
1092
1093         * url.c (local_quote_string): Reenable quoting of question marks,
1094         but only when `--html-extension' is used.
1095
1096 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
1097
1098         * version.c: Wget 1.8-beta3 is released.
1099
1100 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
1101
1102         * snprintf.c (dopr): Cast the result of va_arg to short int and
1103         short unsigned int where these types are expected to be used.
1104
1105 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
1106
1107         * snprintf.c (dopr): Replace `short int' and `unsigned short int'
1108         with `int' when using it as the second argument to `va_arg'.
1109
1110 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
1111
1112         * host.c (address_list_new_one): New function.
1113         (lookup_host): Use it.
1114
1115 2001-12-03  Andre Majorel  <amajorel@teaser.fr>
1116
1117         * host.c (lookup_host): Don't initialize TMPSTORE directly because
1118         it's not legal C.
1119
1120 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
1121
1122         * ftp-basic.c (ftp_port): Don't return HOSTERR if we fail getting
1123         the socket data.
1124
1125         * ftp.c: Ditto.
1126
1127         * http.c: No need to declare h_errno.
1128
1129         * host.c: Declare h_errno.
1130
1131 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
1132
1133         * utils.c (file_merge): If BASE doesn't contain a slash, just
1134         return a copy of FILE.
1135
1136 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
1137
1138         * version.c: Wget 1.8-beta2 is released.
1139
1140 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1141
1142         * ftp.c (getftp): When PWD fails, assume "/".
1143
1144         * ftp-basic.c (ftp_syst): Fix indentation.
1145
1146 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1147
1148         * url.c (get_urls_file): If opt.base_href is specified, merge each
1149         URL with the base.
1150
1151 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1152
1153         * main.c (print_help): Don't document the removed `-nh'.
1154
1155 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1156
1157         * url.c (url_full_path): Document better.
1158
1159         * http.c (gethttp): Use the full path when creating digest
1160         authorization.
1161
1162 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1163
1164         * cookies.c (path_matches): Return 0 if PREFIX doesn't begin with
1165         '/'.
1166
1167 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1168
1169         * cookies.c (path_matches): FULL_PATH doesn't begin with '/', but
1170         PREFIX does.
1171
1172 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1173
1174         * cookies.c (check_domain_match): Reimplement to match Netscape's
1175         "preliminary specification" for cookies.
1176
1177 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1178
1179         * url.c (replace_attr_refresh_hack): New function.
1180         (convert_links): Call replace_attr_refresh_hack for Refresh
1181         links.  It will add the "TMOUT; URL=" junk before the link.
1182
1183         * html-url.c (collect_tags_mapper): Set ID to the ID of the
1184         "content" attribute, not "http-equiv".
1185         (collect_tags_mapper): Don't use OFFSET to hack the raw_* values;
1186         instead, store the information that this entry belongs to a
1187         "refresh" link.
1188
1189 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1190
1191         * version.c: Wget 1.8-beta1 is released.
1192
1193 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1194
1195         * recur.c (retrieve_tree): Allow -p retrievals to exceed maximum
1196         depth by more than one.
1197
1198 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
1199
1200         * retr.c (retrieve_url): Don't allow more than 20 redirections.
1201
1202 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
1203
1204         * recur.c (retrieve_tree): Skip the non-inline entries when
1205         enqueuing the children of a leaf HTML node in -p mode.
1206         (descend_url_p): Ignore opt.no_parent when in -p mode and UPOS is
1207         "inline".
1208
1209         * html-url.c (get_urls_html): Don't accept dash_p_leaf_HTML.
1210         (collect_tags_mapper): When an entry is "inline", mark it as such.
1211
1212         * recur.c (descend_url_p): Fix test when checking for
1213         acceptance/rejection rules.
1214
1215 2001-10-31 Daniel BODEA <dali@dali-designs.com>
1216
1217         * netrc.c (search_netrc): When slack_default is 0, still look for
1218         an account with matching password, just not the "default account".
1219         HTTP Authorization using .netrc should now work as expected.
1220
1221 2001-11-30  T. Bharath  <TBharath@responsenetworks.com>
1222
1223         * http.c (persistent_available_p): Call SHUTDOWN_SSL if
1224         test_socket_open fails.
1225
1226 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
1227
1228         * progress.c (display_image): Just print one CR to reset the
1229         cursor position.
1230
1231 2001-11-30  Christian Fraenkel  <c.fraenkel@gmx.net>
1232
1233         * init.c: New command `ssl_egd_sock'.
1234
1235         * main.c (main): New option `--sslegdsock'.
1236
1237         * gen_sslfunc.c (ssl_init_prng): Seed the RNG using EGD.
1238
1239 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1240
1241         * cmpt.c (memmove): Include a simple memmove implementation.
1242
1243 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1244
1245         * headers: Guard against header files being included twice.
1246
1247 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1248
1249         * gen-md5.c: Use unsigned char * as the buffer argument to
1250         gen_md5_update.
1251
1252 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1253
1254         * connect.h: Declare select_fd.
1255
1256 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1257
1258         * recur.c (descend_url_p): When resolving no_parent, compare with
1259         start_url, not parent url.  Otherwise link from /a/b/ to /a/c/
1260         wouldn't be followed, although the download started from /a/.
1261
1262 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
1263
1264         * config.h.ms, mswindows.h: defined HAVE_ISATTY, use _isatty for
1265         MS VC; somebody with Borland compiler please check and provide
1266         patch if possible;
1267
1268         * cmpt.c: provided a usleep emulation.
1269
1270 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1271
1272         * host.c (address_list_new): Initialize al->faulty.
1273
1274 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1275
1276         * http.c (http_process_range): Accept the broken output of
1277         "JavaWebServer/1.1.1".
1278
1279 2001-11-28  Hrvoje Niksic  <hniksic@arsdigita.com>
1280
1281         * progress.c (dot_set_params): If PARAMS is unspecified, use
1282         dot_style, if available.
1283
1284         * init.c: Ditto.
1285
1286         * main.c (main): Resurect --dot-style.
1287
1288         * progress.c (dot_finish): Print the quantity if we're left at the
1289         beginning of a row.
1290
1291 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1292
1293         * cmpt.c (random): Removed.
1294
1295         * retr.c (sleep_between_retrievals): Use the more portable rand()
1296         instead of random().
1297
1298 2001-11-27  Ian Abbott <abbotti@mev.co.uk>
1299
1300         * retr.c (retrieve_from_file): Initialize `new_file' to NULL to
1301         prevent seg fault.
1302
1303 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1304
1305         * connect.c (connect_to_many): Use address_list_set_faulty to
1306         prevent the faulty address from being reused.
1307
1308         * host.c (address_list_set_faulty): New function.
1309         (address_list_get_bounds): New function, instead of
1310         address_list_count.
1311
1312 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1313
1314         * url.c (convert_links): Don't translate %d-%d.
1315
1316         * main.c (print_help): Remove stray HAVE_RANDOM code.
1317
1318 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1319
1320         * ftp.c (getftp): Improve output after sending PASV.  Don't
1321         attempt to "look up" the IP address we already know; call
1322         connect_to_one directly.
1323
1324 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1325
1326         * progress.c: Change the default progress implementation to "bar".
1327
1328 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1329
1330         * progress.c (bar_create): Print two newlines.
1331
1332 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1333
1334         * cmpt.c (random): New function, a simple-minded replacement for
1335         random() on systems that don't have it.
1336
1337 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1338
1339         * config.h.in: Put a HAVE_USLEEP stub.
1340
1341         * cmpt.c (usleep): Replacement implementation of usleep using
1342         select.
1343
1344         * init.c: New option init_rate.
1345
1346         * main.c (main): New option --limit-rate.
1347
1348         * retr.c (limit_bandwidth): New function.
1349         (get_contents): Call it to limit the bandwidth used when
1350         downloading.
1351
1352         * progress.c (dot_update): Would print the wrong download speed on
1353         rows other than the first one when the download was continued.
1354         (dot_finish): Ditto.
1355
1356 2001-11-26  Ian Abbott <abbotti@mev.co.uk>
1357
1358         * http.c (gethttp): fix undeclared variable 'err' when compiled
1359         with HAVE_SSL.
1360
1361 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1362
1363         * progress.c: Don't allocate new timers; use the timing data
1364         propagated from the caller.
1365
1366         * retr.c (get_contents): Allocate and use a timer.
1367
1368 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1369
1370         * http.c (last_host_ip): Made into an address_list.
1371         (invalidate_persistent): Release pc_last_host_ip.
1372         (register_persistent): Use lookup_host.
1373         (persistent_available_p): Check for equality of hosts using
1374         address_list_match_all.  Call address_list_release.
1375         (http_cleanup): New function.
1376
1377         * ftp.c (getftp): Use lookup_host and connect_to_many.
1378
1379         * http.c (gethttp): Use lookup_host and connect_to_many.
1380
1381         * connect.c (make_connection): Removed.
1382         (connect_to_one): New function.
1383         (connect_to_many): Ditto.
1384         (set_connection_host_name): Ditto.
1385
1386         * host.c (lookup_host): New function; new return type.
1387         (address_list_new): New function.
1388         (address_list_count): Ditto.
1389         (address_list_copy_one): Ditto.
1390         (address_list_delete): Ditto.
1391         (address_list_release): Ditto.
1392         (pretty_print_address): Ditto.
1393
1394 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1395
1396         * recur.c (retrieve_tree): In case of followed redirection,
1397         blacklist the pre-redirection URL.
1398
1399 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1400
1401         * recur.c (descend_redirect_p): New function.
1402         (retrieve_tree): Make sure redirections are not blindly followed.
1403
1404 2001-11-04  Alan Eldridge  <alane@geeksrus.net>
1405
1406         * config.h.in: added HAVE_RANDOM.
1407
1408         * options.h: added random_wait to struct options.
1409
1410         * main.c (print_help [HAVE_RANDOM], main): added arg parsing, help
1411         for --random-wait.
1412
1413         * retr.c (sleep_between_retrievals) [HAVE_RANDOM]: added
1414         implementation of random wait times.
1415
1416         * init.c (commands): added "randomwait" keyword.
1417
1418 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1419
1420         * recur.c (descend_url_p): Be more conservative with blacklisting
1421         URLs.
1422         (convert_all_links): Print how many files have been converted, and
1423         how long it took.
1424
1425         * progress.c (create_image): Place the number of downloaded bytes
1426         right after the progress bar.
1427
1428         * utils.c (suffix): Return a pointer into the string.
1429
1430 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1431
1432         * url.c (convert_links): Handle CO_NULLIFY_BASE.
1433
1434         * recur.c (retrieve_tree): Ignore download-ignorable children.
1435         (convert_all_links): Specify CO_NULLIFY_BASE when link_base_p.
1436
1437         * html-url.c (handle_link): Return the newly created urlpos.
1438         (collect_tags_mapper): When dealing with BASE, store the base
1439         reference and mark it as download-ignorable.
1440
1441 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1442
1443         * url.c (convert_links): Attempt to quote '?' as "%3F" when
1444         linking to local files.  Given up on the attempt, as it breaks
1445         local browsing.
1446
1447 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1448
1449         * main.c (private_initialize): Removed.
1450         (main): Don't call private_initialize.
1451
1452         * http.c: Call lookup_host.
1453
1454         * host.c (host_init): Removed.
1455         (add_host_to_cache): Initialize host_name_address_map here, on
1456         demand.
1457         (ngethostbyname): Commented out.
1458
1459         * connect.c (make_connection): Remove dead code; use lookup_host.
1460
1461         * host.c (store_hostaddress): Renamed to lookup_host and reversed
1462         the args.
1463         Removed host_address_name_map and host_slave_master_map.
1464
1465 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1466
1467         * progress.c (dot_create): Align the "[ skipping ... ]" string
1468         with the dots.
1469
1470         * retr.c (rate): Split into two functions: calc_rate and
1471         retr_rate.
1472
1473         * progress.c (create_image): Draw a dummy progress bar even when
1474         total size is unknown.
1475         (display_image): Place the text cursor at the end of the "image".
1476
1477 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1478
1479         * url.c (reencode_string): Use unsigned char, not char --
1480         otherwise the hex digits come out wrong for 8-bit chars such as
1481         nbsp.
1482         (lowercase_str): New function.
1483         (url_parse): Canonicalize u->url if needed.
1484         (get_urls_file): Parse each URL, and return only the valid ones.
1485         (free_urlpos): Call url_free.
1486         (mkstruct): Add :port if the port is non-standard.
1487         (mkstruct): Append the query string to the file name, if any.
1488         (urlpath_length): Use strpbrk_or_eos.
1489         (uri_merge_1): Handle the cases where LINK is an empty string,
1490         where LINK consists only of query, and where LINK consists only of
1491         fragment.
1492         (convert_links): Count and report both kinds of conversion.
1493         (downloaded_file): Use a hash table, not a list.
1494         (downloaded_files_free): Free the hash table.
1495
1496         * retr.c (retrieve_from_file): Ditto.
1497
1498         * main.c (main): Call either retrieve_url or retrieve_tree
1499         for each URL, not both.
1500
1501         * retr.c (register_all_redirections): New function.
1502         (register_redirections_mapper): Ditto.
1503         (retrieve_url): Register the redirections.
1504         (retrieve_url): Make the string "Error parsing proxy ..." 
1505         translatable.
1506
1507         * res.c (add_path): Strip leading slash from robots.txt paths so
1508         that the path representations are "compatible".
1509         (free_specs): Free each individual path, too.
1510         (res_cleanup): New function.
1511         (cleanup_hash_table_mapper): Ditto.
1512
1513         * recur.c (url_queue_new): New function.
1514         (url_queue_delete): Ditto.
1515         (url_enqueue): Ditto.
1516         (url_dequeue): Ditto.
1517         (retrieve_tree): New function, replacement for recursive_retrieve.
1518         (descend_url_p): New function.
1519         (register_redirection): New function.
1520
1521         * progress.c (create_image): Cosmetic changes.
1522
1523         * init.c (cleanup): Do all those complex cleanups only if
1524         DEBUG_MALLOC is defined.
1525
1526         * main.c: Removed --simple-check and the corresponding
1527         simple_host_check in init.c.
1528
1529         * html-url.c (handle_link): Parse the URL here, and propagate the
1530         parsed URL to the caller, who would otherwise have to parse it
1531         again.
1532
1533         * host.c (xstrdup_lower): Moved to utils.c.
1534         (realhost): Removed.
1535         (same_host): Ditto.
1536
1537 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1538
1539         * utils.c (path_simplify): Preserver the (non-)existence of
1540         leading slash.  Return non-zero if changes were made.
1541
1542 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1543
1544         * progress.c (bar_update): Don't modify bp->total_length if it is
1545         zero.
1546
1547 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1548
1549         * retr.c (retrieve_url): When the redirection URL doesn't parse,
1550         print the correct error message rather than "UNKNOWN".
1551
1552 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1553
1554         * progress.c (bar_finish): If the timer didn't record any time
1555         since the download beginning, fake 1ms.
1556
1557 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1558
1559         * recur.c (recursive_retrieve): Fix typo.
1560
1561 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
1562
1563         * progress.c (create_image): Don't translate "%ld ".
1564
1565 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
1566
1567         * progress.c (bar_set_params): Allow the user to force the use of
1568         the bar.
1569
1570 2001-11-23  Lemble Gregory  <gregory.lemble@st.com>
1571
1572         * gen_sslfunc.c (ssl_init_prng): New function; seed the SSL RNG.
1573
1574 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
1575
1576         * progress.c: Renamed dp_* functions to dot_* for greater clarity
1577         and consistency with bar_*.
1578         (print_download_speed): Get rid of the unneeded '@' character.
1579         (create_image): Fix download rate geometry.
1580
1581         * progress.c (print_elapsed): Remove spurious space.
1582         (print_elapsed): Renamed to print_download_speed, since that's
1583         what it does.
1584
1585 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
1586
1587         * progress.c (bar_update): If the downloaded amount becomes larger
1588         than the expected amount, adjust the expected amount accordingly.
1589
1590 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
1591
1592         * utils.c (determine_screen_width): New function.
1593
1594         * main.c (main): New option `--progress=TYPE'.
1595         (main): Implement compatibility with the old option `--dot-style'.
1596
1597         * init.c: Removed cmd_spec_dotstyle -- that logic is now in
1598         dp_set_params.
1599         (cmd_spec_progress): New function.
1600
1601         * retr.c (get_contents): Use the progress_* functions instead of
1602         the old show_progress().
1603         (show_progress): Removed.
1604         (rate): Print "xxxx.xx K/s" instead of "KB/s".  Ditto for MB/s,
1605         etc.
1606
1607         * progress.c (set_progress_implementation): New function.
1608         (valid_progress_implementation_p): Ditto.
1609         (progress_create): Ditto.
1610         (progress_update): Ditto.
1611         (progress_finish): Ditto.
1612         (dp_create): Ditto.
1613         (dp_update): Ditto.
1614         (dp_finish): Ditto.
1615         (dp_set_params): Ditto.
1616         (print_elapsed): Ditto.
1617
1618 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
1619
1620         * retr.c (show_progress): Use it.
1621
1622         * log.c (log_set_flush): New function.
1623
1624 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
1625
1626         * utils.c (path_simplify): Don't remove trailing slashes.
1627
1628         * ftp.c (ftp_get_listing): Use it.
1629
1630         * utils.c (file_merge): New function.
1631
1632         * url.c (opt_url): Removed.
1633
1634         * recur.c (recursive_retrieve): Inline "opt_url" logic.
1635
1636         * main.c (main): Use xfree(), not free().
1637
1638         * url.c (rewrite_url_maybe): Renamed to rewrite_shorthand_url.
1639
1640         * ftp.c (ccon): Move `ccon' typedef here, since it's only used
1641         internally.
1642
1643         * config.h.in: Include a stub for HAVE_STRPBRK.
1644
1645         * cmpt.c (strpbrk): Include a replacement for systems without
1646         strpbrk().
1647
1648         * ftp.c: Use url_set_dir and url_set_file when modifying the URL.
1649
1650         * url.c (url_set_dir): New function.
1651         (url_set_file): Ditto.
1652
1653         * ftp-basic.c (ftp_process_type): Process FTP type here; the URL
1654         parser makes the URL "params" available, so we can do that in this
1655         function.
1656
1657         * retr.c: Ditto.
1658
1659         * ftp.c: Ditto; pass the local file information in `ccon'.
1660
1661         * http.c: Get rid of the ugly kludge that had URL being replaced
1662         with the proxy URL when proxy retrieval was requested.  Use a
1663         separate parameter to http_loop and gethttp for the proxy URL.
1664
1665         * http.c: Changed to reflect the fact that local file, proxy, and
1666         referer information are no longer stored in struct url.  The local
1667         file information is passed in `struct hstat' now.
1668
1669         * url.c: Reworked URL parsing to be more regular.  Reencode the
1670         URL using reencode_string.
1671         Removed non-URL-related information from struct url.  This
1672         includes fields `proxy', `local', and `referer'.
1673
1674 2001-11-22  Jochen Hein  <jochen@jochen.org>
1675
1676         * main.c (main): Split the copyright notice for easier
1677         translation.
1678
1679 2001-08-21  Dave Turner <dct25@hermes.cam.ac.uk>
1680
1681         * ftp-basic.c (ftp_size): New function to send non-standard SIZE
1682           command to server to request file size.
1683         * ftp.h (ftp_size): Export it.
1684         * ftp.c (getftp): Use new ftp_size function if restoring
1685           transfer of a file with unknown size.
1686
1687 2001-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
1688
1689         * url.c (parseurl): Don't depend on the now-obsolete TYPE.
1690
1691 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1692
1693         * url.c (getproxy): Handle URL shorthands.
1694
1695 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1696
1697         * main.c: Remove --wait / --waitretry backwards compatibility
1698         code.
1699         
1700 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1701
1702         * main.c (main): Use it.
1703
1704         * url.c (rewrite_url_maybe): New function.
1705
1706 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1707
1708         * url.c: Clean up handling of URL schemes.
1709
1710 2001-05-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1711
1712         * url.c: Get rid of `protostrings'.
1713         (skip_proto): Don't use protostrings.
1714         (has_proto): Ditto.
1715
1716 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1717
1718         * Makefile.in: Conditionally compile getopt.o.
1719
1720 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1721
1722         * md5.h: Renamed to gnu-md5.h.
1723
1724         * md5.c: Renamed to gnu-md5.c.
1725
1726         * http.c: Ditto.
1727
1728         * ftp-opie.c: Use the new macros.
1729
1730         * sysdep.h: Define md5-related macros.
1731
1732         * config.h.in: Define HAVE_SOLARIS_MD5 or HAVE_BUILTIN_MD5
1733         depending on which md5 implementation is used.
1734
1735 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1736
1737         * res.c (res_register_specs): Initialize OLD and HP_OLD to appease
1738         the compiler.
1739
1740 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1741
1742         * http.c (gethttp): Print the whole response line when printing
1743         headers is requested.
1744
1745 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1746
1747         * res.c: New file.  Implement all RES-related code here.
1748
1749 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1750
1751         * version.c: Wget 1.7.1 is released.
1752
1753 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1754
1755         * headers.c (header_extract_number): Ignore trailing whitespace.
1756
1757 2001-08-24  Ian Abbott  <abbotti@mev.co.uk>
1758
1759         * html-url.c (collect_tags_mapper): Fix bug converting links
1760         with -k option for tags with multiple link attributes by
1761         handling links in the order they appear.
1762
1763 2001-08-15  Ian Abbott  <abbotti@mev.co.uk>
1764
1765         * ftp.c (ftp_loop_internal): Avoid a potential buffer overflow in
1766           the call to the 'rate' function by moving it past the error
1767           checking for the 'getftp' function return value.
1768
1769 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1770
1771         * html-parse.c (advance_declaration): Use 0x22 instead of '"' or
1772         '\"'.  Different compilers' assert macros are broken in different
1773         ways.
1774
1775 2001-09-29  Christian Fraenkel  <c.fraenkel@gmx.net>
1776
1777         * http.c (gethttp): print debug output for errors occuring during
1778         the ssl handshake.
1779
1780 2001-11-16  Chris Seawood  <cls@seawood.org>
1781
1782         * init.c: Ditto.
1783
1784         * host.c: Ditto.
1785
1786         * connect.c: Ditto.
1787
1788         * sysdep.h: Support compilation under BEOS.
1789
1790 2001-06-08  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
1791
1792         * url.c (url_equal): Fix a memory leak when parseurl returns an
1793         error on the second URL. Also, since url_equal is not used at the
1794         moment, do not compile it.
1795
1796         * url.h: Ditto for the prototype of url_equal.
1797
1798 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1799
1800         * html-parse.c (map_html_tags): Support XML-style empty tags.
1801
1802 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1803
1804         * wget.h (DO_REALLOC_FROM_ALLOCA): Check for do_realloc_newsize in
1805         loop condition because we're no longer setting SIZEVAR here.
1806
1807 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1808
1809         * wget.h (DO_REALLOC_FROM_ALLOCA): Set SIZEVAR after the memcpy()
1810         call because it needs the old value.
1811
1812 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1813
1814         * cookies.c (ATTR_NAME_CHAR): Allow almost any character to be in
1815         an attribute name.
1816
1817 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1818
1819         * url.c (url_filename): Make sure that slashes that sneak in to
1820         u->file via query string get protected.
1821         (file_name_protect_query_string): New function.
1822
1823 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1824
1825         * recur.c (recursive_retrieve): Also check undesirable_urls with
1826         canonicalized URL.
1827
1828 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1829
1830         * http.c (gethttp): Search `.netrc' with real host, not the proxy
1831         one.
1832
1833 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1834
1835         * sysdep.h (MAP_FAILED): Provide MAP_FAILED for systems that don't
1836         define it.
1837
1838 2001-06-09  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
1839
1840         * ftp.h: Provide correct prototype for ftp_parse_ls().
1841
1842 2001-06-04  Hrvoje Niksic  <hniksic@arsdigita.com>
1843
1844         * version.c: Wget 1.7 is released.
1845
1846 2001-06-03  Karl Eichwalder  <ke@suse.de>
1847
1848         * ftp-ls.c (ftp_parse_ls): Fix typo.
1849
1850 2001-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1851
1852         * all: Update copyright information.
1853
1854 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1855
1856         * http.c (gethttp): Indicate that the continued download failed
1857         for *this* file.
1858
1859 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1860
1861         * version.c: Wget 1.7-pre1 is released.
1862
1863 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1864
1865         * version.c: Updated version to 1.7-pre1.
1866
1867 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1868
1869         * gen_sslfunc.c: Don't include <sys/time.h> directly.
1870
1871 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1872
1873         * http.c (gethttp): Use real URL data for cookies, not the proxy
1874         stuff.
1875
1876 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1877
1878         * main.c (print_help): Document `--no-http-keep-alive'.
1879
1880         * utils.c (numdigit): Handle negative numbers *correctly*.
1881
1882         * hash.c (make_nocase_string_hash_table): Use term "nocase" rather
1883         than the confusing "unsigned".
1884
1885         * utils.c (string_set_contains): Renamed from string_set_exists.
1886
1887         * hash.c (hash_table_contains): Renamed from hash_table_exists.
1888
1889         * cookies.c: Move case-insensitive hash tables to hash.c.
1890
1891 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
1892
1893         * http.c (gethttp): Before concluding that the file is already
1894         fully retrieved, make sure that the file existed and `Range' was
1895         actually requested.
1896
1897 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
1898
1899         * cookies.c (eliminate_dups): New function.
1900         (build_cookies_request): Use it.
1901         (build_cookies_request): Set chain_store_size after reallocating
1902         all_chains.
1903         (check_domain_match): Annotated for easier future debugging.
1904         (store_cookie): In the debug message, print whether the cookie is
1905         permanent.
1906
1907 2001-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
1908
1909         * http.c (http_loop): Reset no_truncate before deciding whether to
1910         set it.
1911         (gethttp): Further clarify "-c conflicts with existing file" error
1912         message, based on input from Herold Heiko.
1913
1914 2001-05-07  Hrvoje Niksic  <hniksic@arsdigita.com>
1915
1916         * http.c (http_loop): If restval is set, set no_truncate to 1
1917         unconditionally.
1918
1919 2001-05-02  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
1920
1921         * ftp-ls.c (ftp_parse_winnt_ls): Assure months are being correctly
1922         converted. Pointed out by <Stefan.Weil@de.heidelberg.com>.
1923         (ftp_parse_vms_ls): Ditto.
1924
1925 2001-04-30  Hrvoje Niksic  <hniksic@arsdigita.com>
1926
1927         * init.c (cmd_address): Zero SIN before using it; apparently
1928         needed on *BSD.
1929
1930 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1931
1932         * ftp.c (ftp_loop_internal): Don't set NO_TRUNCATE if the file is
1933         empty.
1934
1935 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1936
1937         * main.c (main): Make `--cookies' respect its argument.
1938
1939 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
1940
1941         * main.c (main): Removed undocumented option `--email-address'.
1942
1943         * netrc.c: Use the latest read_whole_line.
1944
1945         * init.c (defaults): Set opt.ftp_pass to "-wget@".
1946
1947         * mswindows.c (pwd_cuserid): Ditto.
1948
1949         * utils.c (pwd_cuserid): Removed.
1950
1951         * host.c (ftp_getaddress): Removed.
1952
1953 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
1954
1955         (http_loop): Allocate space for filename_plus_orig_suffix with
1956         alloca; this is more efficient and removes the need to free it
1957         before each and every return.
1958
1959 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
1960
1961         * http.c (gethttp): Return RETRUNNEEDED when the retrieval is
1962         unneeded because the file is already there and fully downloaded,
1963         and -c is specified.
1964         (http_loop): Handle RETRUNNEEDED.
1965
1966         * wget.h (uerr_t): New value RETRUNNEEDED.
1967
1968         * http.c (http_loop): Set no_truncate for files that both exist
1969         and are non-empty.
1970         (gethttp): Consider the download finished when restval >= contlen,
1971         not only when restval==contlen.
1972         (gethttp): Handle redirection before giving up due to -c.
1973         (gethttp): Clarify error message which explains that -c will not
1974         truncate the file.
1975         (gethttp): When returning CONTNOTSUPPORTED, don't forget to free
1976         the stuff that needs freeing and release the socket.
1977
1978 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1979
1980         * main.c (print_help): Wget booleans accept "off", not "no".
1981
1982 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1983
1984         * http.c (http_loop): If allow_cache is zero, always disable
1985         caching, not only when retrieving through proxy.
1986
1987         * init.c: Ditto.
1988
1989         * options.h (struct options): Rename proxy_cache to allow_cache.
1990
1991 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1992
1993         * http.c (mktime_from_utc): Improve documentation.
1994         (http_atotm): Put format strings into a separate array.
1995
1996 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1997
1998         * safe-ctype.h: Instead of throwing #error when isalpha is
1999         defined, redefine it to something that will throw a compile-time
2000         error if actually *used*.  Do the same for the rest of the
2001         standard C macros.
2002
2003 2001-04-26  Hrvoje Niksic  <hniksic@arsdigita.com>
2004
2005         * url.c (getproxy): Ignore empty proxy vars.
2006
2007 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2008
2009         * http.c (http_loop): Would load cookies every time.
2010
2011         * cookies.c (load_cookies): Handle cookies whose values contain
2012         embedded spaces.
2013
2014 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2015
2016         * utils.c: Define each DIGITS_* in one line.
2017
2018 2001-04-25  Roger L. Beeman  <beeman@cisco.com>
2019
2020         * http.c (http_atotm): Initialize t.tm_isdst to 0.
2021         (mktime_from_utc): Prevent mktime() from having discontinuities at
2022         DST transition points.
2023
2024 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2025
2026         * html-url.c (get_urls_html): Fix documentation.
2027
2028 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2029
2030         * url.c (UNSAFE_CHAR): Reimplement using a static table.
2031         (url_init): Removed.
2032         (init_unsafe_char_table): Removed.
2033
2034 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2035
2036         * snprintf.c (dopr): Replace ISDIGIT with '0' <= ch && ch <= '9'.
2037
2038 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2039
2040         * utils.c: Document timer functions.
2041
2042         * retr.c (rate): Use it.
2043         (rate): Print in GB/s if transfer rate exceeds 1 GB/s.
2044
2045         * utils.c (wtimer_granularity): New function.
2046
2047 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2048
2049         * retr.c (show_progress): Ditto.
2050
2051         * ftp.c (getftp): Ditto.
2052
2053         * http.c (gethttp): Use new timer functions.
2054
2055         * utils.c (wtimer_allocate): New function.
2056         (wtimer_new): Ditto.
2057         (wtimer_delete): Ditto.
2058         (wtimer_reset): Ditto.
2059         (wtimer_elapsed): Ditto.
2060
2061 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2062
2063         * utils.c (long_to_string): New, faster version.  Favors smaller
2064         numbers; much of the calculation is now done at compile-time.
2065
2066 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
2067
2068         * utils.c (numdigit): Handle negative numbers.
2069
2070 2001-04-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2071
2072         * retr.c (show_progress): Print the download rate even when the
2073         percentages are not available.
2074
2075 2001-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2076
2077         * ftp.c (getftp): Adjust expected_bytes if the length is
2078         authoritative.
2079
2080 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2081
2082         * url.c: Don't declare `construct'.
2083
2084         * hash.c (grow_hash_table): Speed up rehashing; inline storing of
2085         mappings to new locations.
2086         (hash_table_new): Make resize_threshold a field in the hash table,
2087         so we don't have to recalculate it in each hash_table_put.
2088         (grow_hash_table): Update resize_threshold.
2089         (MAX): Remove unused macro.
2090         (prime_size): Made static.
2091
2092 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
2093
2094         * retr.c (retrieve_url): Call uri_merge, not url_concat.
2095
2096         * html-url.c (collect_tags_mapper): Call uri_merge, not
2097         url_concat.
2098
2099         * url.c (mkstruct): Use encode_string instead of xstrdup followed
2100         by URL_CLEANSE.
2101         (path_simplify_with_kludge): Deleted.
2102         (contains_unsafe): Deleted.
2103         (construct): Renamed to uri_merge_1.
2104         (url_concat): Renamed to uri_merge.
2105
2106 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2107
2108         * url.c (str_url): Use encode_string instead of the unnecessary
2109         CLEANDUP.
2110         (encode_string_maybe): New function, returns input string if no
2111         encoding is needed.
2112         (encode_string): Call encode_string_maybe to do the dirty work,
2113         xstrdup if no work needed.
2114
2115 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2116
2117         * wget.h (XDIGIT_TO_xchar): Define here.
2118
2119         * url.c (decode_string): Use new name.
2120         (encode_string): Ditto.
2121
2122         * http.c (XDIGIT_TO_xchar): Rename HEXD2asc to XDIGIT_TO_xchar.
2123         (dump_hash): Use new name.
2124
2125         * wget.h: Rename ASC2HEXD and HEXD2ASC to XCHAR_TO_XDIGIT and
2126         XDIGIT_TO_XCHAR respectively.
2127
2128 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2129
2130         * init.c: Include cookies.h.
2131
2132         * cookies.h: Declare cookies_cleanup.
2133
2134         * cookies.c (check_domain_match): Remove unused variable.
2135         (save_cookies): Remove extraneous argument from debug statement.
2136
2137         * host.c (same_host): Don't call skip_url.
2138
2139         * url.c (skip_url): Removed.  Removed its calls from various
2140         functions in url.c.
2141
2142 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2143
2144         * cookies.c (unsigned_string_hash): Use the new code in
2145         string_hash as reference.
2146
2147         * hash.c (hash_table_map): Allow deletion and change of the
2148         element processed by MAPFUN.
2149         (string_hash): Use the function from glib.
2150
2151 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2152
2153         * config.h.in: Include #undef stub.
2154
2155         * hash.c (hash_table_remove): Rewrite to actually clear deleted
2156         entries instead of just marking them as deleted.
2157
2158 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2159
2160         * hash.h: Declare hash_table_get_pair and hash_table_count.
2161
2162 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2163
2164         * cookies.c: Declare http_atotm.
2165
2166 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2167
2168         * ftp-ls.c (ftp_parse_unix_ls): Use octal constants for
2169         permissions.  A compiler that doesn't accept octal constants is
2170         seriously broken and shouldn't be used -- octal constants were
2171         present in K&R C!
2172
2173 2001-01-20  Karl Eichwalder  <ke@suse.de>
2174
2175         * Makefile.in: Provide and use DESTDIR according to the Coding
2176         Standards.
2177
2178 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2179
2180         * ftp-ls.c (ftp_parse_vms_ls): Make seconds optional in time
2181         specification.
2182
2183 2001-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2184
2185         * url.c (parseurl): Don't strip trailing slash when u->dir is "/"
2186         because that strips the *leading* slash, thus forcing relative
2187         FTP retrieval.
2188
2189 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2190
2191         * ftp.c (getftp): Convert initial FTP directory from VMS to UNIX
2192         notation for VMS servers. 
2193         (ftp_retrieve_dirs): Do not prepend '/' to f->name when
2194         odir is an empty string.
2195
2196 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2197
2198         * ftp-ls.c (ftp_parse_winnt_ls): Made the fix for AM/PM more
2199         effective. Suggested by Edward J. Sabol.
2200
2201 2001-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2202
2203         * cookies.c (build_cookies_request): Use and sort cookies from all
2204         matching domains.
2205         (build_cookies_request): Check for duplicates before generating
2206         the `Cookies' header.
2207
2208         * main.c (main): Don't load cookies here.
2209         (main): Make loadcookies and savecookies call the correct command.
2210
2211         * http.c (http_loop): Load cookies on-demand.
2212
2213 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2214
2215         * http.c (gethttp): Fix indentation of SSL ifdef.
2216
2217 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2218
2219         * ftp.c (ftp_retrieve_dirs): Don't forcibly prepend "/" to u->dir;
2220         that hack is no longer necessary.
2221         (getftp): Prepend initial directory to *non*-absolute u->dir's.
2222
2223 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
2224
2225         * init.c (cmd_file): New function.
2226         (enable_tilde_expansion): New variable.
2227         (run_wgetrc): Use it.
2228         (cmd_file): Use it.
2229
2230 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2231
2232         * init.c: Include cookie-related options.
2233
2234         * main.c (main): Include cookie-specific options.
2235         (main): Load cookies before download is finished.
2236         (main): Save cookies when done.
2237
2238         * http.c (gethttp): Process the `Set-Cookie' header.
2239         (gethttp): Include cookies in the response.
2240
2241         * cookies.c: New file.
2242
2243 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2244
2245         * utils.c (datetime_str): New function.
2246
2247 2001-04-08  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2248
2249         * ftp-ls.c (ftp_parse_winnt_ls): The AM/PM change did assume
2250         12:01PM == 00:01, which was obviously wrong. Taken care of this
2251         anomaly.
2252
2253         * ChangeLog: Removed an excess conflict marker. Reformatted the
2254         entry by Philipp Thomas from 2001-03-09.
2255
2256         * ftp-ls.c (ftp_parse_winnt_ls): Ensure that adjusted PM hours lay
2257         between 0 and 23. Elminate unused variable `sec'.
2258
2259 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2260
2261         * hash.c (hash_table_count): New function.
2262
2263 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2264
2265         * utils.c (read_file): Cast MAP_FAILED to char *.  Enforced by
2266         Digital Unix cc.
2267
2268 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2269
2270         * config.h.in: Oops, do the namespace tweaks only on systems we
2271         know about.
2272
2273 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2274
2275         * hash.c: Include <string.h>.
2276
2277 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2278
2279         * config.h.in: Define "compilation environment" options that work
2280         under Linux and Solaris.  To be reviewed on other OS'es.
2281
2282 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2283
2284         * http.c (gethttp): Prepend literal newline with `\n\'.
2285
2286 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2287
2288         * sysdep.h: Don't define VERY_LONG_FORMAT.
2289
2290         * utils.c (very_long_to_string): New function.
2291         (legible_very_long): Use it; don't use VERY_LONG_FORMAT.
2292
2293 2001-04-04  Christian Fraenkel  <christian.fraenkel@gmx.net>
2294
2295         * url.c (parse_uname): Would run past the end of the string if the
2296         username was present, but the URL did not contain a slash, e.g.
2297         http://foo:bar@myhost.
2298
2299 2001-04-03  KOJIMA Hajime  <kjm@rins.ryukoku.ac.jp>
2300
2301         * http.c (http_atotm): Use %A instead of %a to match full
2302         weekday.  (On most systems there is no difference.)
2303
2304 2001-04-03  Paul Bludov  <paul@ozero.net>
2305
2306         * mswindows.c (sleep): Use SleepEx() instead of Sleep().
2307         (ws_changetitle): Use alloca() instead of malloc() to avoid memory
2308         leak.
2309         (ws_mypath): Use GetModuleFileName instead of argv[0].
2310         (ws_startup): Use data.wVersion for comparison.
2311
2312 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2313
2314         * http.c (http_loop): Ditto.
2315
2316         * ftp.c (ftp_loop_internal): Made the check whether to continue
2317         retrieval `-O'-friendly.
2318
2319 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2320
2321         * netrc.c (parse_netrc): Don't trim the line endings explicitly;
2322         they will be handled as whitespace.
2323         (parse_netrc): Correctly handle lines that end with whitespace.
2324
2325 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2326
2327         * retr.c (retrieve_url): New variable global_download_count used
2328         to identify first retrieval.
2329
2330         * ftp.c (getftp): Ditto.
2331
2332         * http.c (gethttp): Rewind opt.dfp only on first retrieval.
2333
2334 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2335
2336         * init.c (cmd_address): Heap-allocate the address that gets stored
2337         to CLOSURE.  Old code would simply assign an address on the stack.
2338
2339 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
2340
2341         * ftp.c (ftp_get_listing): Propagate error status.
2342         (ftp_retrieve_glob): Use it.
2343         (ftp_loop): Ditto.
2344
2345 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
2346
2347         * main.c (main): Add -C to the string that is the third arg to
2348         getopt_long().
2349
2350 2001-04-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2351
2352         * ftp.c (getftp): Don't start the download from scratch if `-c'
2353         was specified, but the file is already fully downloaded.
2354
2355         * http.c (gethttp): Don't truncate a pre-existing file if `-c' was
2356         specified and the server doesn't support continued download.
2357         (gethttp): Don't start the download from scratch if `-c' was
2358         specified, but the file is already fully downloaded.
2359
2360 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
2361
2362         (recursive_retrieve): Don't clear the hash tables at this point at
2363         all; it interferes with the normal operation of register_download.
2364
2365 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
2366
2367         * recur.c (recursive_retrieve): Clear the hash tables only when
2368         they are defined.
2369
2370 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
2371
2372         * http.c (gethttp): Make sure the socket is closed with
2373         CLOSE_INVALIDATE before we have drained the body.
2374
2375 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
2376
2377         * retr.c (retrieve_url): Call register_download() for downloaded
2378         files and register_html() for downloaded HTML files.
2379
2380         * recur.c (register_download): New function; register here that a
2381         file has been downloaded, rather than in recursive_retrieve().
2382         (register_html): New function; enqueue the location of HTML files
2383         here rather than in recursive_retrieve().
2384
2385 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
2386
2387         * main.c (print_help): Use multiple fputs instead of a single ugly
2388         printf().
2389         (main): Consistently assign numbers >128 to options without a
2390         corresponding character.
2391
2392 2001-03-09  Philipp Thomas  <pthomas@suse.de>
2393
2394         * safe-ctype.h: New file. Locale independent ctype.h replacement
2395         taken from libiberty.
2396
2397         * safe-ctype.c: New file. Tables for above.
2398
2399         * Makefile.in: Add safe-ctype$o to OBJS.  Add dependencies for
2400         safe-ctype$o.
2401
2402         * cmpt.c: Remove include of ctype.h. Use ISSPACE instead of
2403         isspace.
2404
2405         * ftp-basic.c: Don't include ctype.h.
2406
2407         * ftp-ls.c: Likewise.
2408
2409         * ftp.c: Likewise.
2410
2411         * headers.c: Likewise.
2412
2413         * host.c: Likewise.
2414
2415         * html-parse.c: Likewise.
2416
2417         * html-url.c: Likewise.
2418
2419         * http.c: Likewise.
2420
2421         * init.c: Likewise.
2422
2423         * main.c: Likewise. Set LC_CTYPE along with LC_MESSAGES.
2424
2425         * netrc.c: Likewise.
2426
2427         * recur.c: Likewise.
2428
2429         * retr.c: Likewise.
2430
2431         * snprintf.c: Replace ctype.h with safe-ctype.h. Use ISDIGIT
2432         instead of isdigit.
2433
2434         * sysdep.h: Remove defines of ctype macros as they aren't needed
2435         for safe-ctype-h.
2436
2437         * url.c: Don't include ctype.h.
2438
2439         * utils.c: Likewise.
2440
2441         * wget.h: Include safe-ctype.h.
2442
2443 2001-03-27  Dan Harkless  <wget@harkless.org>
2444
2445         * Makefile.in: Moved top_builddir out of "User configuration
2446         section" of top Makefile and analogous spot in this one.
2447
2448 2001-03-17  Dan Harkless  <wget@harkless.org>
2449
2450         * Makefile.in: Include @SSL_INCLUDES@ substition in INCLUDES.
2451         Define top_builddir.  Link wget with libtool so the user doesn't
2452         have to supply a bunch of custom environment variables to 
2453         correctly link with the OpenSSL shared libraries.
2454
2455 2001-03-06  Hack Kampbjorn  <hack@hackdata.com>
2456
2457         * http.c (gethttp): skip :port in host header if it is the
2458         DEFAULT_HTTPS_PORT when using SSL.
2459
2460         * url.c: move the #define of DEFAULT_HTTP_PORT, DEFAULT_FTP_PORT
2461         and DEFAULT_HTTPS_PORT to the header file so it can be use in the
2462         rest of the code. 
2463         * url.h: Ditto
2464
2465 2001-03-01  Jonas Jensen  <bones@huleboer.dk>
2466
2467         * retr.c (show_progress): Correctly calculate the number of bytes
2468         in the first line of the download that have been actually
2469         downloaded in this run.
2470
2471 2001-02-23  Dan Harkless  <wget@harkless.org>
2472
2473         * main.c (print_help): --help documentation for -N said it would
2474         re-download files if they had the _same_ timestamp on server.
2475         (print_help): -nr belongs in "FTP options" section of --help
2476         output, not "Recursive retrieval" section.  Alphabetized FTP
2477         options by long option name.
2478
2479 2001-02-16  Dan Harkless  <wget@harkless.org>
2480
2481         * init.c (commands): Hack Kampbjørn <hack@hackdata.com> discovered
2482         that "httpsproxy" had been inserted into commands[] out of
2483         alphabetical order, causing "BUG: unknown command `httpuser'".
2484
2485 2001-02-13  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2486
2487         * ftp-ls.c (ftp_parse_ls): Added support of ST_MACOS (Unix-like
2488         listing without correct permissons).
2489
2490         * ftp.h (stype): Added ST_MACOS to identify the NetPresenz MacOS
2491         FTP server. 
2492
2493         * ftp.c (ftp_retrieve_list): New mirroring logic: A remote file
2494         shall be donwloaded only when it's newer than the local copy or
2495         when it has the same timeestamp but its size is different. ST_VMS
2496         and ST_MACOS as special cases that lie about file size. 
2497
2498         * ftp-ls.c (ftp_parse_ls): Support for ST_MACOS.
2499
2500         * Makefile.in: Removed dependency on ftpparse library due to unclear
2501         copyright issues and absence of any feedback to our queries. 
2502
2503         * ftp-ls.c: Removed dependency on ftpparse library due to unclear
2504         copyright issues and absence of any feedback to our queries.   
2505         (ftp_parse_ls): Added a warning message when remote server system
2506         does not seem to be suported by wget. 
2507         (ftp_parse_vms_ls): New function for parsing VMS ftp
2508         server listing output.
2509         (clean_line): New function responsible for removing
2510         end-of-line characters from FTP listing texts.
2511
2512         * ftp.c (getftp): Global variables pwd and host_type are now
2513         member of the ccon structure under names ccon.id and ccon.rs. 
2514
2515         * ftp.h (struct ccon): Added formed global variables from ftp.c,
2516         enum stype rs (remote system identification) and char *id (initial
2517         working directory), as suggested by Hrvoje.
2518
2519         * url.c (parse_uname): Added support for passwords containing '@'
2520         characters.
2521         (skip_uname): Ditto.
2522
2523 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2524
2525         * ftp.c (ftp_loop): Reset con.
2526
2527 2001-01-06  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2528
2529         * url.c (parse_uname): Added support for passwords containing '@'
2530         characters.
2531         (skip_uname): Ditto.
2532
2533 2001-02-11  Hack Kampbjørn  <hack@hackdata.com>
2534
2535         * url.c (parseurl): Debug-print u->ftp_type.
2536
2537 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2538
2539         * ftp.c (ftp_loop_internal): Disable padding.
2540         (getftp): Ditto.
2541
2542         * http.c (http_loop): Disable padding.
2543
2544         * retr.c (show_progress): Use it to enable padding.
2545
2546         * retr.c (rate): Optional parameter PAD for padding the rate.
2547
2548 2001-02-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2549
2550         * retr.c (show_progress): Make sure that the last output line
2551         includes progress.
2552
2553 2001-02-10  Jonas Jensen  <bones@huleboer.dk>
2554
2555         * retr.c (show_progress): Print the download rate along with the
2556         percentages.
2557         Along with Anders Thorsby <anders@thorsby.dk>.
2558
2559 2001-02-10  Tim Mooney  <mooney@dogbert.cc.ndsu.NoDak.edu>
2560
2561         * ftp.h: Rename enums `command' to `wget_ftp_command' and
2562         `fstatus' to `wget_ftp_status' because old names clash with Tru64
2563         net/if.h.
2564
2565 2001-02-08  Christian Fraenkel <christian.fraenkel@gmx.net>
2566
2567         * gen_sslfunc.c: verify_callback is now static
2568
2569         * gen_sslfunc.c (init_ssl): load certificate if specified
2570
2571         * gen_sslfunc.c (ssl_printerr): new function
2572
2573         * init.c: added new --sslcertfile and --sslcertkey switches
2574
2575         * main.c: ditto
2576
2577         * options.h: ditto
2578
2579         * http.c (gethttp): abort when init_ssl fails
2580
2581 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
2582
2583         * mswindows.h: Include <malloc.h>; it's needed for alloca().
2584
2585 2001-01-10  Dan Harkless  <wget@harkless.org>
2586
2587         * url.c (str_url): Clarified this function's comment header after
2588         Hrvoje answered my question on the list as to when hide != 1.
2589         Also Hrvoje pointed out I need to use xstrdup() on the string literal.
2590
2591 2001-01-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2592
2593         * connect.c (bindport): Declare addrlen as int.  Diagnosed by
2594         Drazen Kacar <dave@arsdigita.com>.
2595         (conaddr): Ditto.
2596
2597 2001-01-09  Dan Harkless  <wget@harkless.org>
2598
2599         * html-url.c: A bunch of fixup of `--page-requisites'-related
2600         comments to reflect Hrvoje's changes to my code when transplanting
2601         it into this new file, to fix spelling mistakes, to clarify, etc.
2602
2603         * url.c (write_backup_file): Clarified a comment.
2604         (str_url): Henrik van Ginhoven pointed out on the list that we
2605         shouldn't give away the number of characters in the password by
2606         replacing each character with a 'x'.  Use "<password>" instead.
2607
2608         * ftp.c (ftp_retrieve_dirs): The bug where recursion into FTP
2609         directories didn't work if logging in put you in a directory other
2610         than "/" is fixed now.  Removed the comment here warning of the bug.
2611
2612         * main.c (print_help): --continue's description was misleading.
2613         We don't "restart", we "resume".  Also, better to say
2614         "partially-downloaded file" rather than just "existing file".
2615
2616 2001-01-06  Dan Harkless  <wget@harkless.org>
2617
2618         * ChangeLog: The '[Not in 1.6 branch.]'s were decided not to be
2619         the best way to go about my aim.  Removed them in favor of:
2620
2621         * ChangeLog-branches/1.6_branch.ChangeLog: New file.
2622
2623 2001-01-04  Hrvoje Niksic  <hniksic@arsdigita.com>
2624
2625         * url.c (replace_attr): New function, to be used by both
2626         TO_COMPLETE and TO_RELATIVE case in convert_links.
2627         (find_fragment): New function for finding URL fragments.
2628         (replace_attr): Better handle the case where the original string
2629         is not quoted.  Use find_fragment.
2630         (convert_links): Use replace_attr().
2631
2632 2000-12-31  Dan Harkless  <wget@harkless.org>
2633
2634         * ChangeLog: Since this flat file doesn't have multiple branches,
2635         looking at the dates would make you think that things went into
2636         1.6 that actually just went into the 1.7-dev branch.  Added "[Not
2637         in 1.6 branch.]" where appropriate to clarify.
2638         
2639 2000-12-30  Dan Harkless  <wget@harkless.org>
2640
2641         * ftp.c, http.c:  Applied Hack Kampbjørn <hack@hackdata.com>'s
2642         patch to deal with h_errno not being defined in netdb.h under Cygwin.
2643
2644 2000-12-18  Csaba Raduly  <csaba.raduly@sophos.com>
2645
2646         * sysdep.h: Include <malloc.h> and <io.h> under Watcom.
2647
2648 2000-12-17  Igor Khristophorov  <igor@atdot.org>
2649
2650         * http.c (check_end): Fix test for '+' or '-'.
2651
2652 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2653
2654         * url.c (parseurl): Rename inner loop var from i to ind to avoid
2655         clash with the function top-level-declared variable i.
2656         (str_url): Likewise, rename inner-loop i to j.
2657
2658         * recur.c (parse_robots): Don't declare LEN at top of function.
2659         (robots_match): Renamed parameter FORBIDDEN to avoid hiding of
2660         global variable.
2661
2662         * main.c (main): Change erroneous use of bitwise and to logical.
2663
2664         * init.c (cmd_address): Don't heap-allocate `sin'; it can be on
2665         the stack because it will be copied to closure.
2666
2667         Thanks to Csaba Raduly's run of PC-LINT over the sources.
2668
2669 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2670
2671         * http.c (basic_authentication_encode): Use xmalloc(), not
2672         malloc().  Thanks to Csaba Raduly's run of PC-LINT over the
2673         sources.
2674
2675 2000-12-17  Csaba Raduly  <csaba.raduly@sophos.com>
2676
2677         * sysdep.h: Test for __EMX__ rather than for EMXOS2 for OS/2
2678         compilation.
2679
2680 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2681
2682         * mswindows.c: Include <errno.h>.
2683
2684         * gen_sslfunc.c: Include <errno.h>.
2685
2686         * ftp-basic.c: Don't attempt to declare errno or h_errno because
2687         they're not used.
2688
2689         * main.c: Include <errno.h> because errno is used.
2690
2691         * ftp.c: Ditto.
2692
2693         * http.c: Include <netdb.h> for h_errno.
2694
2695 2000-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2696
2697         * html-parse.c (advance_declaration): MSVC assert() chokes on
2698         '\"'.  Use '"' instead.
2699
2700 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2701
2702         * utils.c (xfree_real): Removed.
2703         (xfree_debug): Just call free().
2704
2705         * wget.h (xfree): Make it an alias for free.
2706
2707 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2708
2709         * http.c (http_loop): Furthermore, touch output_document only if
2710         it is known to be an existing regular file.
2711
2712 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2713
2714         * ftp.c (ftp_retrieve_list): Ditto.
2715
2716         * http.c (http_loop): Touch output_document if that is used for
2717         output.
2718
2719 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2720
2721         * http.c: Include gen_sslfunc.h after including Wget's headers.
2722         (persistent_available_p): Needed coma before `int ssl'.
2723
2724 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2725
2726         * ftp.c (ftp_loop_internal): Ditto.
2727
2728         * http.c (http_loop): Use it.
2729
2730         * retr.c (sleep_between_retrievals): New function that handles the
2731         logic of opt.wait and opt.waitretry.
2732
2733 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2734
2735         * rbuf.h: Implement only a single version of RBUF_READCHAR, using
2736         rbuf_read_bufferful when the buffer is depleted.
2737
2738         * rbuf.c (rbuf_read_bufferful): New function.
2739
2740 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2741
2742         * gen_sslfunc.h: Use ansi2knr style function declarations.
2743
2744         * gen_sslfunc.c: Reformat according to the GNU coding standards.
2745         More should be done.
2746
2747         * http.c (persistent_available_p): Place the cheap SSL test nearer
2748         the top of the function.
2749         (CLOSE_FINISH, CLOSE_INVALIDATE): Define only one version of each.
2750
2751 2000-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
2752
2753         * url.c (init_unsafe_char_table): Reinstate space as an unsafe
2754         char.
2755
2756 2000-12-03  Christian Fraenkel <christian.fraenkel@gmx.net>
2757
2758         * Makefile.in: added gen_sslfunc object
2759         * config.h.in: added HAVE_SSL define
2760         * connect.c: changed select_fd from static int to int
2761         * connect.h: ditto
2762         * gen_sslfunc.h: New file
2763         * gen_sslfunc.c: ditto
2764         * http.c: added HTTPS fuctionality
2765         * retrc.c: ditto
2766         * url.c: ditto
2767         * init.c: added opt.httpsproxy
2768         * options.h: ditto
2769         * rbuf.h: added alternate rbuf struct
2770         * wget.h: added CONSSLERR
2771         * rbuf.c: ditto
2772
2773         * http.c: Added HTTPS fuctionality.
2774
2775         * retrc.c: Ditto.
2776
2777         * url.c: Ditto.
2778
2779         * init.c: Added opt.httpsproxy.
2780
2781         * options.h: Ditto.
2782
2783         * rbuf.h: Added alternate rbuf struct.
2784
2785         * wget.h: Added CONSSLERR.
2786
2787         * rbuf.c: Ditto.
2788
2789 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2790
2791         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
2792         "ignore_perms" to ignore file and directory permissions for
2793         Windows NT FTP server listings.
2794         (ftp_parse_winnt_ls): New function.
2795         (ftp_parse_ls): Parses UNIX and Windows NT listings
2796         separately. Simple heuristics for distinguishing between UNIX and
2797         MS-DOS-like FTP listing provided by Windows NT FTP service.
2798
2799 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2800
2801         * ftpparse.c, ftpparse.h: New files.
2802
2803         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
2804         only. Use ftp_parse_nonunix_ls otherwise.
2805         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
2806         exotic FTP servers.
2807
2808         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
2809         FTP servers.
2810
2811         * ftp.c: New static wariables host_type, pwd, and pwd_len. 
2812         (getftp): Support for VMS. Support for FTP servers that do not
2813         place you in the root directory after login.
2814         (ftp_retrieve_list): VMS is silent about the real file size, issue
2815         a more appropriate message.
2816         (ftp_get_listing): Pass host_type to ftp_parse_ls.
2817
2818         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
2819
2820 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2821
2822         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
2823         "ignore_perms" to ignore file and directory permissions for
2824         Windows NT FTP server listings.
2825         (ftp_parse_winnt_ls): New function.
2826         (ftp_parse_ls): Parses UNIX and Windows NT listings
2827         separately. Simple heuristics for distinguishing between UNIX
2828         and MS-DOS-like FTP listing provided by Windows NT FTP service.
2829
2830 2000-11-29  John Summerfield  <summer@OS2.ami.com.au>
2831
2832         * netrc.c (parse_netrc): Get rid of line ending.
2833
2834 2000-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2835
2836         * ftp.c (ftp_retrieve_list): Undo typo "fix" until resolution by
2837         Dan.
2838
2839 2000-11-24  Karl Eichwalder  <ke@suse.de>
2840
2841         * main.c (print_help): Untabify.
2842
2843 2000-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2844
2845         * utils.c (xrealloc_debug): Do the unregister/register thing only
2846         if the pointer has actually changed.
2847         (xmalloc_real): Declare `static' in DEBUG_MALLOC builds.
2848         (xfree_real): Ditto.
2849         (xrealloc_real): Ditto.
2850         (xstrdup_real): Ditto.
2851
2852 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
2853
2854         * ftp.c (getftp): ftp_getaddress() returns a malloc'ed copy of the
2855         string; no need to strdup() it.
2856         (getftp): Make pwd_len a local variable.
2857         (ftp_loop): Free PWD before returning.
2858
2859         * init.c (cleanup): Free opt.ftp_pass only if it's non-NULL.
2860
2861 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
2862
2863         * all: Use xfree() instead of free.
2864
2865         * utils.c (xfree): New function.
2866
2867 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2868
2869         * url.c (convert_links): HTML-quote the converted string.
2870
2871         * utils.c (html_quote_string): Move here from ftp-ls.c
2872         (html_quote_string): Make non-static; declare in utils.h.
2873         (html_quote_string): Convert SP to &#32;.
2874
2875 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2876
2877         * ftp.c (getftp): Reformat Jan's code according to GNU coding
2878         standards; remove (debugging?) printf's; use '\0' for the ASCII
2879         zero character.  Use alloca() instead of malloc() for
2880         inter-function temporary allocations.
2881
2882 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2883
2884         * ftpparse.c, ftpparse.h: New files.
2885
2886         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
2887         only. Use ftp_parse_nonunix_ls otherwise.
2888         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
2889         exotic FTP servers.
2890
2891         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
2892         FTP servers.
2893
2894         * ftp.c: New static wariables host_type, pwd, and pwd_len. 
2895         (getftp): Support for VMS. Support for FTP servers that do not
2896         place you in the root directory after login.
2897         (ftp_retrieve_list): VMS is silent about the real file size, issue
2898         a more appropriate message.
2899         (ftp_get_listing): Pass host_type to ftp_parse_ls.
2900
2901         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
2902
2903 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2904
2905         * hash.c (hash_table_put): Don't overwrite deleted mappings.
2906
2907 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2908
2909         * hash.c (find_mapping): New function.
2910         (hash_table_get): Use it.
2911         (hash_table_get_pair): Ditto.
2912         (hash_table_exists): Ditto.
2913         (hash_table_remove): Ditto.
2914         (hash_table_remove): Really delete the entry if the mapping
2915         following LOCATION is empty.
2916
2917         * utils.c (string_set_add): Check whether the element has existed
2918         before.
2919
2920         * hash.c (hash_table_get_pair): New function.
2921
2922 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2923
2924         * http.c (http_process_type): Ignore trailing whitespace; use
2925         strdupdelim().
2926
2927         * recur.c (recursive_retrieve): Use the new `convert' field.
2928         (convert_all_links): Ditto.
2929         (convert_all_links): Don't respect meta_disallow_follow.
2930
2931         * html-url.c (handle_link): Fill out link_relative_p and
2932         link_complete_p.
2933
2934         * url.h (struct _urlpos): Make elements more readable.
2935
2936         * recur.c (recursive_retrieve): Call slist_prepend instead of
2937         slist_append.
2938         (convert_all_links): Call slist_nreverse before iterating through
2939         urls_html.
2940
2941         * utils.c (slist_prepend): New function.
2942         (slist_nreverse): Ditto.
2943
2944 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2945
2946         * http.c (check_end): Constify.
2947
2948 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2949
2950         * http.c (http_loop): If username and password are known, try the
2951         `Basic' authentication scheme by default.
2952
2953         * connect.h: Declare test_socket_open.
2954
2955 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2956
2957         * version.c: Bump version from 1.5.3+dev to 1.7-dev.
2958
2959 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2960
2961         * http.c (gethttp): Don't use the return value of sprintf().
2962         (gethttp): Inhibit keep-alive if opt.http_keep_alive is 0.
2963
2964 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2965
2966         * recur.c (recursive_retrieve): Print the "so we don't load"
2967         debugging message only if we really don't load.
2968
2969         * http.c (gethttp): Inhibit keep-alive if proxy is being used.
2970         (gethttp): Don't request keep-alive if keep-alive is inhibited.
2971
2972 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2973
2974         * http.c (gethttp): Make the HTTP persistent connections more
2975         robust.
2976
2977 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2978
2979         * retr.c (get_contents): If use_expected, make sure that the
2980         appropriate amount of data is being read.
2981
2982         * http.c (gethttp): Check for both `Keep-Alive: ...' and
2983         `Connection: Keep-Alive'.
2984
2985         * wget.h (DEBUGP): Call debug_logprintf only if opt.debug is
2986         turned on.
2987
2988 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2989
2990         * http.c (connection_available_p): Use it.
2991
2992         * connect.c (test_socket_open): New function.
2993
2994         * http.c (gethttp): Support persistent connections.  Based on the
2995         ideas, and partly on code, by Sam Horrocks <sam@daemoninc.com>.
2996         (register_persistent): New function.
2997         (connection_available_p): Ditto.
2998         (invalidate_connection): Ditto.
2999
3000 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3001
3002         * url.c (convert_links): Handle UREL2ABS case.
3003
3004         * recur.c (recursive_retrieve): Instead of the list
3005         urls_downloaded, use hash tables dl_file_url_map and
3006         dl_url_file_map.
3007         (convert_all_links): Use them to retrieve data.
3008
3009         * host.c (clean_hosts): Free the hash tables.
3010
3011         * main.c (private_initialize): Call host_init().
3012
3013         * host.c (store_hostaddress): Use a saner, hash table-based data
3014         model.
3015         (realhost): Ditto.
3016         (host_init): Initialize the hash tables.
3017
3018 2000-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3019
3020         * utils.c (slist_append): Eviscerate NOSORT.  Hash tables are now
3021         used for what the sorted slists used to be used for.
3022         (slist_contains): Don't rely on the list being sorted.
3023         (slist_append): Simplify the code.
3024
3025         * recur.c (recursive_cleanup): Use free_string_set.
3026
3027         * utils.c (string_set_add, string_set_exists, string_set_free):
3028         New functions for easier freeing of hash tables whose keys are
3029         strdup'ed strings.
3030
3031         * recur.c (recursive_retrieve): Use the hash table functions for
3032         storing undesirable URLs.
3033
3034         * hash.c: New file.
3035
3036 2000-11-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3037
3038         * main.c (private_initialize): Call url_init.
3039         (main): Call private_initialize.
3040
3041         * url.c (unsafe_char_table): New table.
3042         (UNSAFE_CHAR): Use it.
3043         (init_unsafe_char_table): New function.
3044         (url_init): New function; call init_unsafe_char_table.
3045
3046 2000-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3047
3048         * mswindows.h: Define snprintf and vsnprintf to _snprintf and
3049         _vsnprintf respectively.
3050
3051 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
3052
3053         * config.h.in: Do the _XOPEN_SOURCE and _SVID_SOURCE things only
3054         on Linux.
3055
3056 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
3057
3058         * html-url.c (handle_link): Handle HTML fragment identifiers.
3059
3060         * recur.c (recursive_retrieve): If norobot info is respected and
3061         the file is specified not to be followed by robots, respect that.
3062
3063         * html-url.c (collect_tags_mapper): Handle <meta name=robots
3064         content=X>.  For us the important cases are where X is NONE or
3065         where X contains NOFOLLOW.
3066         (get_urls_html): Propagate that information to the caller.
3067
3068 2000-11-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3069
3070         * url.c (convert_links): Unlink the file we might be reading from
3071         before writing to it.
3072         (convert_links): Use alloca instead of malloc for
3073         filename_plus_orig_suffix.
3074
3075 2000-11-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3076
3077         * host.c (realhost): Add HOST to the list with quality==0 only if
3078         it wasn't already there.
3079         Based on analysis by Lu Guohan <feng@public.bjnet.edu.cn>.
3080
3081 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3082
3083         * url.c (get_urls_file): Ditto.
3084         (convert_links): Ditto.
3085
3086         * html-url.c (get_urls_html): Use read_file() instead of
3087         load_file().
3088
3089         * utils.c (read_file): New function, instead of the old
3090         load_file().
3091         (read_file_free): Ditto.
3092
3093         * url.c (findurl): Search only for the supported protocols.
3094         (convert_links): Use fwrite() when writing out a region of
3095         characters.
3096
3097 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3098
3099         * ftp-ls.c: Move html_quote_string and ftp_index here.
3100
3101         * url.c: Remove get_urls_html, since that's now in html-url.c.
3102
3103         * html-url.c: New file.
3104
3105         * html-parse.c: New file.
3106
3107 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3108
3109         * init.c (run_wgetrc): Don't bother killing off '\r' since
3110         pars_line() skips whitespace at end of line anyway.
3111         (parse_line): Oops, it didn't.  Now it does.
3112
3113         * recur.c (parse_robots): Ditto here.
3114
3115         * ftp-ls.c (ftp_parse_unix_ls): Kill off the newline character
3116         manually because read_whole_line no longer does.
3117
3118         * utils.c (read_whole_line): Rewrite to: a) use less memory
3119         (reallocates to needed size after work), b) work faster -->
3120         fgets() instead of getc, c) be more correct --> doesn't kill the
3121         newline character at the end of line.
3122
3123 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3124
3125         * init.c (comind): Initialize MAX to array size - 1.
3126
3127 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3128
3129         * url.c (construct): Changed last_slash[-1] to *(last_slash - 1).
3130         Suggested by Edward J. Sabol.
3131
3132 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3133
3134         * url.c (construct): Handle the case where host name is not
3135         followed by a slash.
3136
3137 2000-11-06  Hrvoje Niksic  <hniksic@arsdigita.com>
3138
3139         * init.c: commands[] need to be sorted!  ("base" wasn't.)
3140
3141 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3142
3143         * wget.h (DO_REALLOC_FROM_ALLOCA): Use braces to disambiguate
3144         `if'.
3145
3146 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3147
3148         * url.c (construct): Insert unneeded initialization for the
3149         compiler to shut up.
3150
3151         * config.h.in: Define _XOPEN_SOURCE to 500 to get the prototype
3152         for strptime() (*duh*).  Define _SVID_SOURCE to get S_IFLNK which
3153         otherwise gets lost when you define _XOPEN_SOURCE.
3154
3155         * utils.c (touch): Include the file name in the error message.
3156         From Debian.
3157
3158 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3159
3160         * log.c (logvprintf): Use vsnprintf() in all cases.  If necessary,
3161         resize the buffer to fit the formated message.  That way, messages
3162         of arbitrary size may be printed.
3163         (logvprintf): Use saved_append() to optionally log the last
3164         several lines of output.
3165         (logputs): Ditto.
3166         (log_close): Adapt to new data structures.
3167         (log_dump): Ditto.
3168         (redirect_output): Print messages to stderr, not to stdout.
3169
3170         * log.c (saved_append_1): New function.  Replaces the old logging
3171         system ("log all output until 10M characters") with a new, much
3172         more reasonable one ("log last screenful of text").
3173         (saved_append): New function; call saved_append_1.
3174         (free_log_line): New function.
3175
3176 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
3177
3178         * url.c (construct): Fix comment.
3179         (find_last_char): Document.
3180
3181 2000-11-04  Hrvoje Niksic  <hniksic@arsdigita.com>
3182
3183         * snprintf.c: New file.
3184
3185 2000-11-03  Hrvoje Niksic  <hniksic@arsdigita.com>
3186
3187         * wget.h: If HAVE_STDARG_H is not defined, don't declare argument
3188         types to logprintf() and debug_logprintf().
3189
3190 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3191
3192         * ftp.c (ftp_loop_internal): Hide the password from the URL when
3193         printing non-verbose.  Problem spotted by Dariusz Mlynarczyk
3194         <darekm@bydg.lomac.com.pl>.
3195
3196 2000-11-02  Junio Hamano  <junio@twinsun.com>
3197
3198         * ftp-basic.c (ftp_login): Make comparison case-insensitive.
3199
3200 2000-11-02  Tyler Riddle  <triddle@liquidmarket.com>
3201
3202         * http.c (known_authentication_scheme_p): Recognize NTML
3203         authentication.
3204         (create_authorization_line): Treat NTML the same as `Basic'.
3205
3206 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3207
3208         * retr.c (retrieve_url): Free url before returning.
3209         (retrieve_url): Free mynewloc before returning.
3210         Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
3211
3212 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
3213
3214         * url.c (parseurl): Remove possible reading past the end of
3215         sup_protos[].  Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
3216
3217 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3218
3219         * main.c (main): In case of opt.downloaded overflowing, print
3220         <overflow> instead of a totally bogus random value.
3221
3222         * retr.c (retrieve_from_file): Ditto.
3223
3224         * recur.c (recursive_retrieve): Ditto.
3225
3226         * main.c (main): Ditto.
3227
3228         * http.c (http_loop): Ditto.
3229
3230         * ftp.c (ftp_loop_internal): Use downloaded_increase() instead of
3231         `+=', and downloaded_exceeds_quota() instead of the simple-minded
3232         check.
3233         (ftp_retrieve_list): Ditto.
3234         (ftp_retrieve_dirs): Ditto.
3235         (ftp_retrieve_glob): Ditto.
3236
3237         * retr.c (downloaded_increase): New function.  Notice overflows of
3238         opt.downloaded.
3239         (downloaded_exceeds_quota): Make sure that opt.downloaded is not
3240         used if it overflowed.
3241
3242         * options.h (struct options): New member downloaded_overflow.
3243
3244 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3245
3246         * wget.h (enum): Remove extra space after last enumeration.
3247
3248 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3249
3250         * main.c (main): Use legible_very_long() for printing
3251         opt.downloaded.
3252
3253         * utils.c (legible_1): New function that operates on strings and
3254         does the brunt of legible()'s work.
3255         (legible): Use legible_1().
3256         (legible_very_long): New function; dump the argument with
3257         sprintf(), and call legible_1().
3258
3259         * options.h (struct options): Use VERY_LONG_TYPE for
3260         opt.downloaded.
3261
3262         * sysdep.h (VERY_LONG_TYPE): Define it to have a 64-bit or greater
3263         type.
3264
3265         * config.h.in: Make sure that SIZEOF_LONG and SIZEOF_LONG_LONG get
3266         defined.  Define HAVE_LONG_LONG if long long is available.
3267
3268 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3269
3270         * utils.c (long_to_string): Update with a later, better version.
3271
3272 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3273
3274         * url.c (path_simplify_with_kludge): New function.
3275         (path_simplify_with_kludge): Disable it.  Instead...
3276         (parse_dir): ...make sure that at this point the right thing is
3277         done, i.e. that "query" part of the URL (?...) is always assigned
3278         to the file, never to the directory portion of the path.
3279
3280 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3281
3282         * retr.c (retrieve_url): Detect redirection cycles.
3283
3284 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3285
3286         * url.c (get_urls_html): Decode HTML entities using
3287         html_decode_entities.
3288
3289         * html.c (htmlfindurl): Don't count the `#' in numeric entities
3290         (&#NNN;) as an HTML fragemnt.
3291         (html_decode_entities): New function.
3292
3293 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3294
3295         * html.c (htmlfindurl): Fix recognition of # HTML fragments.
3296
3297 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3298
3299         * url.c (construct): Rewritten for clarity.  Avoids the
3300         unnecessary copying and stack-allocation the old version
3301         performed.
3302
3303 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3304
3305         * ftp.c (getftp): Ditto.
3306
3307         * http.c (gethttp): Rewind the stream when retrying from scratch.
3308
3309 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
3310
3311         * retr.c (retrieve_url): Use url_concat() to handle relative
3312         redirections instead of /ad hoc/ code.
3313
3314         * url.c (url_concat): New function encapsulating weird
3315         construct().
3316         (urllen_http_hack): New function.
3317         (construct): When constructing new URLs, recognize that `?' does
3318         not form part of the file name in HTTP.
3319
3320 2000-10-13  Adrian Aichner  <adrian@xemacs.org>
3321
3322         * retr.c: Add msec timing support for WINDOWS.
3323         * retr.c (reset_timer): GetSystemTime() on WINDOWS.
3324         * retr.c (elapsed_time): Calculate delta time to msec on WINDOWS.
3325
3326 2000-10-27  Dan Harkless  <wget@harkless.org>
3327
3328         * retr.c (retrieve_url): Manually applied T. Bharath
3329         <TBharath@responsenetworks.com>'s patch to get wget to grok
3330         illegal relative URL redirects.  Reformatted and re-commented it.
3331
3332 2000-10-23  Dan Harkless  <wget@harkless.org>
3333
3334         * connect.c (make_connection and bindport): Manually applied Rob
3335         Mayoff <mayoff@dqd.com>'s 1.5.3 patch to add --bind-address,
3336         changing coding style to GNU's.
3337
3338         * ftp.c (ftp_loop_internal): --delete-after wasn't implemented for
3339         files downloaded via FTP.  Per a comment, .listing files were not
3340         counted towards number of bytes and files downloaded because they're 
3341         deleted anyway.  Well, they aren't under -nr, so count them then.
3342
3343         * init.c: Manually applied Rob Mayoff's 1.5.3 patch to add
3344         --bind-address, alphabetizing, changing coding style to GNU's,
3345         commenting, and renaming cmd_ip_address() to cmd_address() to
3346         imply hostnames also okay.
3347                 
3348         * main.c (main): --delete-after didn't delete the root of the
3349         tree.  Ignore --convert-links if --delete-after was specified.
3350         Manually applied Rob Mayoff's 1.5.3 patch to add --bind-address,
3351         fixing duplicate use of added-since-1.5.3 case value.
3352         (print_help): Clarified that --delete-after deletes local files.
3353         Rob forgot to add a line for his new --bind-address option.
3354                 
3355         * options.h (struct options): Manually applied Rob Mayoff's patch
3356         to add --bind-address (bind_address structure member).
3357                 
3358         * recur.c (recursive_retrieve): Improved comment; added DEBUGP().
3359         Ignore --convert-links if --delete-after was specified.
3360                 
3361         * retr.c (retrieve_from_file): Just added a DEBUGP().
3362                 
3363 2000-10-19  Dan Harkless  <wget@harkless.org>
3364
3365         * ftp.c (ftp_loop_internal): downloaded_file() enumerators changed.
3366         (getftp): Applied Piotr Sulecki <Piotr.Sulecki@ios.krakow.pl>'s
3367         patch to work around FTP servers that incorrectly respond to the
3368         "REST" command with the remaining size rather than the total file size.
3369                 
3370         * http.c (gethttp): Improved a comment and added code to tack on
3371         ".html" to text/html files without that extension when -E specified.
3372         (http_loop): Use new downloaded_file() enumerators and deal with
3373         the case of gethttp() called xrealloc() on u->local.
3374
3375         * init.c (commands): Added new "htmlextension" command.
3376         Also renamed John Daily's cmd_quad() to the more descriptive
3377         cmd_lockable_boolean(), alpha-sorted the CMD_DECLARE()s and
3378         removed duplicate cmd_boolean() declaration.
3379
3380         * main.c (print_help): Added my new -E / --html-extension option.
3381         (main): Undocumented --email-address option previously used -E synonym.
3382         Stole it away for the much more deserving --html-extension's use.
3383
3384         * options.h (struct options): Added html_extension field.
3385
3386         * url.c (convert_links): URL X that we saved as X.html locally due
3387         to -E needs to be backed up as X.orig, not X.html.orig.  Added comments.
3388         (downloaded_file): Now remembers if we added .html extension to a file.
3389
3390         * url.h (downloaded_file_t): Added extra enumerators to support above.
3391         (downloaded_file): Now takes and returns a downloaded_file_t.
3392
3393         * wget.h (unnamed "dt" enum): Added ADDED_HTML_EXTENSION enumerator.
3394         
3395 2000-10-09  Dan Harkless  <wget@harkless.org>
3396
3397         * html.c (htmlfindurl): Added unneeded initialization to quiet warning.
3398                 
3399         * main.c (print_help): Clarified what --retr-symlinks does.
3400         
3401 2000-09-15  John Daily  <jdaily@cyberdude.com>
3402
3403         * init.c: Add support for "always" and "never" values to allow
3404         .wgetrc to override commandline (useful e.g. with .pm files
3405         calling `wget --passive-ftp' when your firewall doesn't allow that).
3406
3407         * ftp.c (getftp): passive_ftp is first option to support always/never.
3408
3409 2000-08-30  Dan Harkless  <wget@harkless.org>
3410
3411         * ftp.c (ftp_retrieve_list): Use new INFINITE_RECURSION #define.
3412         
3413         * html.c: htmlfindurl() now takes final `dash_p_leaf_HTML' parameter.
3414         Wrapped some > 80-column lines.  When -p is specified and we're at a 
3415         leaf node, do not traverse <A>, <AREA>, or <LINK> tags other than 
3416         <LINK REL="stylesheet">.
3417         
3418         * html.h (htmlfindurl): Now takes final `dash_p_leaf_HTML' parameter.
3419         
3420         * init.c: Added new -p / --page-requisites / page_requisites option.
3421
3422         * main.c (print_help): Clarified that -l inf and -l 0 both allow
3423         infinite recursion.  Changed the unhelpful --mirrior description
3424         to simply give the options it's equivalent to.  Added new -p option.
3425         (main): Added some comments; handle new -p / --page-requisites.
3426         
3427         * options.h (struct options): Added new page_requisites field.
3428
3429         * recur.c: Changed "URL-s" to "URLs" and "HTML-s" to "HTMLs".
3430         Calculate and pass down new `dash_p_leaf_HTML' parameter to
3431         get_urls_html().  Use new INFINITE_RECURSION #define.
3432
3433         * retr.c: Changed "URL-s" to "URLs".  get_urls_html() now takes
3434         final `dash_p_leaf_HTML' parameter.
3435
3436         * url.c: get_urls_html() and htmlfindurl() now take final
3437         `dash_p_leaf_HTML' parameter.
3438
3439         * url.h (get_urls_html): Now takes final `dash_p_leaf_HTML' parameter.
3440
3441         * wget.h: Added some comments and new INFINITE_RECURSION #define.
3442         
3443 2000-08-23  Dan Harkless  <wget@harkless.org>
3444
3445         * main.c (print_help): -B / --base was not mentioned.
3446
3447 2000-08-22  Dan Harkless  <wget@harkless.org>
3448
3449         * main.c (print_help): Modified -nc description to mention that it
3450         also prevents the creation of multiple versions of the same file
3451         with ".<number>" suffixes.
3452
3453 2000-07-14  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
3454
3455         * retr.c (retrieve_url): Consistently strdup opt.referer when
3456         setting u->referer.
3457
3458 2000-06-09  Dan Harkless  <wget@harkless.org>
3459
3460         * main.c (print_help): --help output for --waitretry was over 80 cols.
3461
3462 2000-06-09  Hrvoje Niksic  <hniksic@iskon.hr>
3463
3464         * url.c (encode_string): Fix comment.
3465         Suggested by Herold Heiko <Heiko.Herold@previnet.it>.
3466
3467 2000-06-01  Const Kaplinsky  <const@ce.cctpu.edu.ru>
3468
3469         * ftp.c (ftp_retrieve_list): Change permissions only on plain
3470         files.
3471
3472 2000-06-01  Hrvoje Niksic  <hniksic@iskon.hr>
3473
3474         * url.c (str_url): Print the port number only if it's different
3475         from the default port number for that protocol.
3476
3477 2000-05-22  Dan Harkless  <wget@harkless.org>
3478
3479         * main.c (print_help): Added --help line for Damir Dzeko
3480         <ddzeko@zesoi.fer.hr>'s until-now-undocumented --referer option.
3481         Removed comments that --referer and --waitretry were undocumented.
3482         Changed "`.wgetrc' command" to "`.wgetrc'-style command" on --help
3483         line for --execute.
3484
3485 2000-05-18  Hrvoje Niksic  <hniksic@iskon.hr>
3486
3487         * ftp.c (getftp): Ditto.
3488
3489         * http.c (gethttp): Check for return value of fclose/fflush.
3490
3491 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
3492
3493         * host.c (store_hostaddress): Instead of shifting ADDR, start
3494         copying from the correct address.
3495
3496 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
3497
3498         * http.c (gethttp): Don't free REQUEST -- it was allocated with
3499         alloca().
3500         Pointed out by Gisle Vanem <gvanem@eunet.no>.
3501
3502 2000-04-04  Dan Harkless  <wget@harkless.org>
3503
3504         * host.c (store_hostaddress): R. K. Owen's patch introduces a
3505         "left shift count >= width of type" warning on 32-bit
3506         architectures.  Got rid of it by tricking the compiler w/ a variable.
3507         
3508         * url.c (UNSAFE_CHAR): The macro didn't include all the illegal
3509         characters per RFC1738, namely everything above '~'.  It also
3510         generated a warning on OSes where char =~ unsigned char.  Fixed.
3511         
3512 1998-10-17  Hrvoje Niksic  <hniksic@srce.hr>
3513
3514         * http.c (http_process_type): Removed needless strdup(), a memory
3515         leak.
3516
3517 1998-09-25  Hrvoje Niksic  <hniksic@srce.hr>
3518
3519         * html.c (htmlfindurl): Set PH to the first occurrence of `#'.
3520
3521 1998-09-25  Simon Munton  <simonm@m4data.co.uk>
3522
3523         * init.c (wgetrc_file_name): Don't free HOME under Windows.
3524
3525 1998-12-01  "R. K. Owen"  <rkowen@Nersc.GOV>
3526
3527         * host.c (store_hostaddress): Fix for big endian 64-bit machines.
3528
3529 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
3530
3531         * url.c (UNSAFE_CHAR): New macro.
3532         (contains_unsafe): Use it.
3533         (encode_string): Ditto.
3534
3535 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
3536
3537         * main.c (i18n_initialize): Use LC_MESSAGES only if available.
3538
3539 2000-03-31  Hrvoje Niksic  <hniksic@srce.hr>
3540
3541         * Use TOUPPER/TOLOWER.
3542
3543 1998-12-22  Alexander V. Lukyanov  <lav@yars.free.net>
3544
3545         * ftp-opie.c (btoe): Zero-terminate OSTORE.
3546
3547 2000-03-21  Hrvoje Niksic  <hniksic@iskon.hr>
3548
3549         * wget.h (DO_REALLOC_FROM_ALLOCA): Ditto.
3550
3551         * sysdep.h (ISALNUM): New macro.
3552         (TOLOWER): Ditto.
3553         (TOUPPER): Ditto.
3554
3555 2000-03-10  Dan Harkless  <wget@harkless.org>
3556
3557         * html.c (idmatch): Implemented checking of my new --follow-tags
3558         and --ignore-tags options.
3559         
3560         * init.c (commands): Added comment reminding people adding new
3561         entries doing allocation to add corresponding freeing in cleanup().
3562         (commands): Added new followtags and ignoretags commands.
3563         (cleanup): Free storage for new followtags and ignoretags.
3564         
3565         * main.c: Use of "comma-separated list" was random -- normalized
3566         it.  Did some alphabetization.  Added comments pointing out
3567         "Options without arguments" and "Options accepting an argument"
3568         sections of long_options[].  Added new options --follow-tags and
3569         -G / --ignore-tags.  Added comment that Damir's --referer is
3570         currently undocumented.  Added comment that Heiko's --waitretry is
3571         partially undocumented (mentioned in --help but not in
3572         wget.texi).  Moved improperly sorted 24, 129, and 'G' cases.
3573         
3574         * options.h (struct options): Added new fields follow_tags and
3575         ignore_tags. 
3576         
3577         * wget.h: Added "#define EQ 0" so we can say "strcmp(a, b) == EQ".
3578         
3579 2000-03-02  Dan Harkless  <wget@harkless.org>
3580
3581         * ftp.c (ftp_loop_internal): Heiko introduced "suggest explicit
3582         braces to avoid ambiguous `else'" warnings.  Eliminated them.
3583         
3584         * http.c (gethttp): Dan Berger's query string patch is totally
3585         bogus.  If you have two different URLs, gen_page.cgi?page1 and
3586         get_page.cgi?page2, they'll both be saved as get_page.cgi and the
3587         second will overwrite the first.  Also, parameters to implicit
3588         CGIs, like "http://www.host.com/db/?2000-03-02" cause the URLs to
3589         be printed with trailing garbage characters, and could seg fault.
3590         Backing out the patch, which Dan B. informed me by email was just
3591         a kludge to download StarOffice from Sun made necessary due to
3592         wget's unconditional escaping of certain characters (room for an
3593         option there?).
3594         (http_loop): Heiko introduced "suggest explicit braces to avoid
3595         ambiguous `else'" warnings.  Eliminated them.
3596         
3597         * main.c: Heiko's --wait / --waitretry backwards compatibility
3598         code looks to have been totally untested -- automatic variable
3599         'wr' was used without being initialized, and a long int was passed
3600         into setval()'s char* val parameter.
3601         
3602         * recur.c (parse_robots): Applied Edward J. Sabol
3603         <sabol@alderaan.gsfc.nasa.gov>'s patch for Guan Yang's reported
3604         problem with "User-agent:<space>*<space>" lines in robots.txt.
3605         
3606         * url.c (parseurl, str_url): Removing Dan Berger's code (see
3607         http.c above for explanation).
3608         
3609 1999-08-25  Heiko Herold  <Heiko.Herold@previnet.it>
3610
3611         * ftp.c: Respect new option waitretry.
3612
3613 2000-01-30  Damir Dzeko  <ddzeko@zesoi.fer.hr>
3614
3615         * http.c (gethttp): Send custom Referer, if required.
3616
3617 1999-09-24  Charles G Waldman  <cgw@fnal.gov>
3618
3619         * netrc.c (parse_netrc): Allow passwords to contain spaces.
3620
3621         * netrc.c (parse_netrc): New function.
3622
3623 1999-09-17  Dan Berger  <dberger@ix.netcom.com>
3624
3625         * http.c (gethttp): Send it.
3626
3627         * url.c (parseurl): Detect query string in HTTP URL-s.
3628         (str_url): Print it.
3629
3630 2000-03-02  HIROSE Masaaki  <hirose31@t3.rim.or.jp>
3631
3632         * html.c (html_allow): Add <link href=...> and <script src=...>.
3633
3634 1999-05-02  andrew deryabin  <djsf@softhome.net>
3635
3636         * http.c (gethttp): Specify port in `Host' header only if it's
3637         different from 80.
3638
3639 1998-11-03  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
3640
3641         * recur.c (recursive_retrieve): If a finite maximum depth is
3642         specified, and we're are already at that depth, don't download the
3643         HTML file for parsing.
3644
3645 2000-03-01  Dan Harkless  <wget@harkless.org>
3646
3647         * ftp.c (ftp_loop_internal): Call new downloaded_file() function,
3648         even though we don't do conversion on HTML files retrieved via
3649         FTP, so _current_ usage of downloaded_file() makes this call unneeded. 
3650         (ftp_retrieve_list): Added a comment saying where we need to
3651         stat() a .orig file if FTP'd HTML file conversion is ever implemented.
3652         (ftp_retrieve_list): "Local file '%s' is more recent," is sometimes
3653         a lie -- reworded as "Server file no newer than local file '%s' --".
3654         
3655         * http.c (http_loop): Fixed a typo and clarified a comment.
3656         (http_loop): When -K and -N are specified together, compare size
3657         and timestamp of server file X against local file X.orig (if
3658         extant) rather than converted local file X.
3659         (http_loop): "Local file '%s' is more recent," is sometimes a lie
3660         -- reworded as "Server file no newer than local file '%s' --".
3661         (http_loop): Call new downloaded_file() function to prevent
3662         wrongful overwriting of .orig file when -N is specified.
3663         
3664         * url.c (convert_links): When -K specified, only rename X to
3665         X.orig if downloaded_file() returns TRUE.  Otherwise when we skip
3666         file X due to -N, we clobber an X.orig from a previous invocation.
3667         (convert_links): Call the failsafe xstrdup(), not the real strdup().
3668         (convert_links): Added a note asking anyone who understands how
3669         multiple URLs can correspond to a single file to comment it.
3670         (downloaded_file): Added this new function.
3671         
3672         * url.h (downloaded_file): Added prototype for this new function
3673         as well as its downloaded_file_t enum type.
3674
3675         * wget.h (boolean): Added this new typedef and TRUE and FALSE #defines.
3676
3677 2000-02-29  Dan Harkless  <wget@harkless.org>
3678
3679         * version.c: Upped version to developer-only "1.5.3+dev".
3680
3681 2000-02-18  Dan Harkless  <wget@harkless.org>
3682
3683         * init.c (backup_converted): Added this new option.
3684
3685         * main.c (-K / --backup-converted): Added this new option.
3686
3687         * options.h (backup_converted): Added this new option.
3688
3689         * url.c (convert_links): When backup_converted is specified, save
3690         file X as X.orig before converting.
3691
3692         * url.h (urlpos): Fixed typo -- said "Rekative" instead of "Relative".
3693
3694 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
3695
3696         * version.c: Wget 1.5.3 is released.
3697
3698 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
3699
3700         * host.c (ftp_getaddress): Don't warn when reverse-lookup of local 
3701         address doesn't yield FQDN.
3702
3703 1998-09-21  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
3704
3705         * cmpt.c (strerror): Fix declaration of sys_errlist.
3706
3707 1998-09-11  Hrvoje Niksic  <hniksic@srce.hr>
3708
3709         * main.c (main): Don't use an array subscript as the first
3710         argument to STRDUP_ALLOCA.
3711         From Kaveh R. Ghazi.
3712
3713 1998-09-11  Szakacsits Szabolcs  <szaka@sienet.hu>
3714
3715         * html.c (htmlfindurl): Download table background.
3716
3717 1998-09-11  Hans Grobler  <grobh@conde.ee.sun.ac.za>
3718
3719         * init.c (parse_line): Would free *com before allocating it.
3720         (parse_line): Would free com instead of *com.
3721
3722 1998-09-10  Howard Gayle  <howard@fjst.com>
3723
3724         * url.c (get_urls_html): Would drop the last character of the
3725         link.
3726
3727 1998-09-10  Hrvoje Niksic  <hniksic@srce.hr>
3728
3729         * http.c (http_loop): Don't print status code if quiet.
3730
3731 1998-09-10  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
3732
3733         * log.c: Use <stdarg.h> only when __STDC__.
3734
3735 1998-09-10  Adam D. Moss  <adam@foxbox.org>
3736
3737         * html.c (htmlfindurl): Download <layer src=...>.
3738
3739 1998-09-10  Howard Gayle  <howard@fjst.com>
3740
3741         * ftp.c (ftp_retrieve_list): Don't update the time stamp of a file 
3742         not retrieved.
3743
3744 1998-06-27  Hrvoje Niksic  <hniksic@srce.hr>
3745
3746         * utils.c: Include <libc.h> on NeXT.
3747
3748 1998-06-26  Heinz Salzmann  <heinz.salzmann@intermetall.de>
3749
3750         * url.c (get_urls_html): Fix calculation of URL position.
3751
3752 1998-06-23  Hrvoje Niksic  <hniksic@srce.hr>
3753
3754         * version.c: Wget 1.5.2 is released.
3755
3756 1998-06-23  Dave Love  <d.love@dl.ac.uk>
3757
3758         * ftp.c, init.c, netrc.c: Include errno.h.
3759
3760         * http.c: Include errno.h and time header.
3761
3762         * Makefile.in (exext): Define.
3763         (install.bin, uninstall.bin): Use it.
3764
3765 1998-06-21  Hrvoje Niksic  <hniksic@srce.hr>
3766
3767         * http.c (http_loop): Don't attempt to compare local and remote
3768         sizes if the remote size is unknown.
3769
3770 1998-06-16  Hrvoje Niksic  <hniksic@srce.hr>
3771
3772         * url.c (get_urls_html): Use malloc() instead of alloca in the
3773         loop.
3774
3775 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
3776
3777         * version.c: Wget 1.5.2-b4 is released.
3778
3779 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
3780
3781         * url.c (get_urls_html): Ignore spaces before and after the URI.
3782
3783 1998-06-08  Wanderlei Antonio Cavassin  <cavassin@conectiva.com.br>
3784
3785         * ftp.c (getftp): Translate `done'.
3786
3787 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
3788
3789         * version.c: Wget 1.5.2-b3 is released.
3790
3791 1998-06-06  Alexander Kourakos  <awk@bnt.com>
3792
3793         * init.c (cleanup): Close dfp, don't free it.
3794
3795 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
3796
3797         * utils.c (make_directory): Twiddle.
3798
3799         * config.h.in: Added template for access().
3800
3801 1998-06-05  Mathieu Guillaume  <mat@cythere.com>
3802
3803         * html.c (htmlfindurl): Download <input src=...>
3804
3805 1998-06-03  Hrvoje Niksic  <hniksic@srce.hr>
3806
3807         * utils.c (file_exists_p): Use access() with two arguments.
3808
3809 1998-05-27  Martin Kraemer  <Martin.Kraemer@mch.sni.de>
3810
3811         * netrc.c (parse_netrc): Correct logic.
3812
3813 1998-05-27  Hrvoje Niksic  <hniksic@srce.hr>
3814
3815         * ftp.c (getftp): Added `break'; suggested by Lin Zhe Min
3816         <ljm@ljm.wownet.net>.
3817
3818 1998-05-24  Hrvoje Niksic  <hniksic@srce.hr>
3819
3820         * version.c: Wget 1.5.2-b2 is released.
3821
3822 1998-05-18  Juan Jose Rodriguez  <jcnsoft@jal1.telmex.net.mx>
3823
3824         * mswindows.h: Don't translate mkdir to _mkdir under Borland.
3825
3826 1998-05-17  Hrvoje Niksic  <hniksic@srce.hr>
3827
3828         * retr.c (elapsed_time): Return correct value when
3829         HAVE_GETTIMEOFDAY is undefined.
3830
3831 1998-05-13  Hrvoje Niksic  <hniksic@srce.hr>
3832
3833         * version.c: Wget 1.5.2-b1 is released.
3834
3835 1998-05-08  Hrvoje Niksic  <hniksic@srce.hr>
3836
3837         * getopt.c (_getopt_internal): Use exec_name instead of argv[0].
3838         (_getopt_internal): Don't translate `#if 0'-ed strings.
3839
3840 1998-05-06  Douglas E. Wegscheid  <wegscd@whirlpool.com>
3841
3842         * mswindows.c (ws_handler): Use fork_to_background().
3843
3844 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
3845
3846         * version.c: Wget 1.5.1 is released.
3847
3848 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
3849
3850         * http.c (parse_http_status_line): Avoid `minor' and `major'
3851         names.
3852
3853 1998-05-02  Hrvoje Niksic  <hniksic@srce.hr>
3854
3855         * utils.c (mkdirhier): Renamed to make_directory.
3856
3857 1998-05-01  Hrvoje Niksic  <hniksic@srce.hr>
3858
3859         * mswindows.c (fork_to_background): Define under Windows.
3860
3861         * utils.c (fork_to_background): New function.
3862
3863         * html.c (htmlfindurl): Removed rerdundant casts.
3864
3865 1998-05-01  Douglas E. Wegscheid  <wegscd@whirlpool.com>
3866
3867         * mswindows.c (ws_mypath): Cache the path.
3868
3869 1998-04-30  Douglas E. Wegscheid  <wegscd@whirlpool.com>
3870
3871         * ftp.h: Prefix enum ftype members with FT_.
3872
3873         * ftp-ls.c, ftp.c, html.h: Adjust accordingly.
3874
3875         * mswindows.h: Use stat under Borland, _stat under MSVC.
3876
3877 1998-04-28  Hrvoje Niksic  <hniksic@srce.hr>
3878
3879         * http.c (known_authentication_scheme_p): New function.
3880         (gethttp): Handle authorization more correctly.
3881
3882         * ftp-basic.h: Removed.
3883
3884         * cmpt.h: Removed.
3885
3886         * utils.c: Include <unistd.h> before <pwd.h>; needed under SunOS
3887         with gcc 2.8.
3888         (numdigit): Use `while' loop.
3889
3890         * http.c (create_authorization_line): Detect authentication
3891         schemes case-insensitively.
3892
3893         * http.c (extract_header_attr): Use strdupdelim().
3894         (digest_authentication_encode): Move declaration of local
3895         variables to smaller scope.
3896         (digest_authentication_encode): Reset REALM, OPAQUE and NONCE.
3897         (create_authorization_line): Detect authentication schemes
3898         case-insensitively.
3899
3900         * utils.c (touch): Constify.
3901
3902         * http.c (gethttp): Report a nicer error when no data is received.
3903
3904         * rbuf.h (RBUF_READCHAR): Ditto.
3905
3906         * ftp-basic.c (ftp_response): Use sizeof.
3907
3908 1998-04-27  Hrvoje Niksic  <hniksic@srce.hr>
3909
3910         * retr.c (print_percentage): EXPECTED is long, not int.
3911         (print_percentage): Use floating-point arithmetic to avoid
3912         overflow with large files' sizes multiplied with 100.
3913
3914 1998-04-27  Gregor Hoffleit  <flight@mathi.uni-heidelberg.de>
3915
3916         * config.h.in: Added pid_t stub.
3917
3918         * sysdep.h (S_ISREG): Moved here from mswindows.h (NeXT doesn't
3919         define it).
3920
3921 1998-04-20  Hrvoje Niksic  <hniksic@srce.hr>
3922
3923         * version.c: Wget 1.5.0 is released.
3924
3925 1998-04-18  Hrvoje Niksic  <hniksic@srce.hr>
3926
3927         * url.c (str_url): Ditto.
3928
3929         * ftp-basic.c (ftp_rest): Use new name.
3930
3931         * utils.c (long_to_string): Renamed from prnum().
3932
3933 1998-04-16  Hrvoje Niksic  <hniksic@srce.hr>
3934
3935         * version.c: Wget 1.5-b17 is released.
3936
3937 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
3938
3939         * headers.c (header_get): New argument FLAGS.
3940
3941         * http.c (gethttp): If request is malformed, bail out of the
3942         header loop.
3943         (gethttp): Check for empty header *after* the status line checks.
3944         (gethttp): Disallow continuations for status line.
3945
3946 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
3947
3948         * version.c: Wget 1.5-b16 is released.
3949
3950 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
3951
3952         * init.c (commands): Renamed `always_rest' to `continue'.
3953
3954 1998-04-05  Hrvoje Niksic  <hniksic@srce.hr>
3955
3956         * all: Use it.
3957
3958         * log.c (logputs): New argument.
3959         (logvprintf): Ditto.
3960         (logprintf): Ditto.
3961
3962 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
3963
3964         * http.c (http_atotm): Update comment.
3965
3966         * main.c (i18n_initialize): Set LC_MESSAGES, not LC_ALL.
3967
3968         * wget.h: Renamed ENABLED_NLS to HAVE_NLS.
3969
3970         * main.c (i18n_initialize): New function.
3971         (main): Use it.
3972
3973         * log.c: Include <unistd.h>.
3974
3975         * retr.c (show_progress): Cast alloca to char *.
3976
3977 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
3978
3979         * version.c: Wget 1.5-b15 is released.
3980
3981 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
3982
3983         * utils.h: Declare file_non_directory_p().
3984
3985 1998-04-03  Hrvoje Niksic  <hniksic@srce.hr>
3986
3987         * main.c (main): It's `tries', not `numtries' now.
3988
3989 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
3990
3991         * init.c (getperms): Removed.
3992
3993 1998-04-01  Tim Charron  <tcharron@interlog.com>
3994
3995         * log.c (logvprintf): Don't use ARGS twice.
3996
3997 1998-04-01  John  <john@futuresguide.com>
3998
3999         * mswindows.c: Cleaned up.
4000
4001 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
4002
4003         * version.c: Wget 1.5-b14 is released.
4004
4005 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
4006
4007         * ftp-opie.c (STRLEN4): New macro.
4008         (btoe): Use it.
4009
4010 1998-04-01  Junio Hamano  <junio@twinsun.com>
4011
4012         * http.c: Document all the Digest functions.
4013
4014 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
4015
4016         * utils.c (file_non_directory_p): Renamed from isfile().
4017
4018         * mswindows.h (S_ISREG): New macro, suggested by Tim Adam.
4019
4020 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
4021
4022         * utils.c (mkdirhier): Use 0777 instead of opt.dirmode.
4023
4024         * init.c (cmd_spec_dotstyle): Use 48 dots per line for binary
4025         style.
4026         (cmd_permissions): Removed.
4027
4028         * config.h.in: Add template for WORDS_BIGENDIAN.
4029
4030 1998-03-31  Junio Hamano  <junio@twinsun.com>
4031
4032         * http.c (HEXD2asc): New macro.
4033         (dump_hash): Use it.
4034
4035 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
4036
4037         * version.c: Wget 1.5-b13 is released.
4038
4039 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
4040
4041         * main.c (main): Don't try to use `com'.
4042
4043 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
4044
4045         * init.c (cmd_permissions): New function.
4046
4047 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
4048
4049         * version.c: Wget 1.5-b12 is released.
4050
4051 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
4052
4053         * init.c (commands): Renamed `numtries' to `tries'.
4054         (cmd_spec_debug): Removed.
4055         (home_dir): Under Windows, return `C:\' if HOME is undefined.
4056
4057 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
4058
4059         * config.h.in: Define _XOPEN_SOURCE.
4060
4061         * init.c (check_user_specified_header): New function.
4062         (cmd_spec_header): Use it.
4063         (cmd_spec_useragent): New function.
4064
4065 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
4066
4067         * version.c: Wget 1.5-b11 is released.
4068
4069 1998-03-28  Hrvoje Niksic  <hniksic@srce.hr>
4070
4071         * wget.h: Include <libintl.h> only if NLS is enabled.
4072
4073 1998-03-26  Hrvoje Niksic  <hniksic@srce.hr>
4074
4075         * options.h (struct options): Made `wait' a long.
4076         (struct options): Ditto for `timeout'.
4077
4078 1998-03-19  Hrvoje Niksic  <hniksic@srce.hr>
4079
4080         * utils.c (exists): Renamed to file_exists_p.
4081         (file_exists_p): Use access() if available.
4082
4083 1998-03-17  Hrvoje Niksic  <hniksic@srce.hr>
4084
4085         * utils.c (memfatal): Set save_log_p to 0 to avoid potential
4086         infloop.
4087
4088         * log.c: do_logging -> save_log_p.
4089
4090         * config.h.in: Added template for HAVE_VSNPRINTF.
4091
4092 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
4093
4094         * init.c: Ditto.
4095
4096         * http.c: Protect declaration against non-ANSI compiler.
4097
4098         * log.c (logvprintf): Use vsnprintf() if available.
4099
4100         * getopt.c (main): Don't translate test stuff.
4101
4102 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
4103
4104         * version.c: Wget 1.5-b10 is released.
4105
4106 1998-03-11  Hrvoje Niksic  <hniksic@srce.hr>
4107
4108         * ftp.c (getftp): Don't translate "CWD %s".
4109
4110         * wget.h (GCC_FORMAT_ATTR): Renamed from FORMAT_ATTR.
4111
4112 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
4113
4114         * ftp-opie.c (btoe): Use memcpy() instead of strncat().
4115
4116         * log.c (logputs): New function.
4117         (logvprintf): Renamed from vlogmsg; use logputs().
4118
4119         * retr.c (show_progress): Print `[100%]' when the retrieval is
4120         finished.
4121
4122         * init.c (run_wgetrc): Use FILE, not PATH.
4123         (wgetrc_file_name): Ditto.
4124
4125 1998-03-07  Tim Adam  <tma@osa.com.au>
4126
4127         * recur.c (parse_robots): Correctly reset `entries' on empty
4128         disallow.
4129
4130 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
4131
4132         * init.c (cmd_spec_debug): Use cmd_boolean().
4133
4134 1998-02-23  Hrvoje Niksic  <hniksic@srce.hr>
4135
4136         * http.c (gethttp): Create proxy-authorization correctly.
4137
4138 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
4139
4140         * md5.c: Ditto.
4141
4142         * getopt.c: Use ANSI function definitions.
4143
4144         * ftp-opie.c: New file.
4145
4146         * options.h: Don't redefine EXTERN.
4147
4148         * init.c: Sort it correctly.
4149
4150 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
4151
4152         * version.c: Wget 1.5-b9 is released.
4153
4154 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
4155
4156         * recur.c (recursive_retrieve): Reset `first_time'.
4157
4158         * ftp.c (getftp): Added `default' clause to switches of uerr_t.
4159
4160         * rbuf.c (rbuf_peek): Simplified.
4161         (rbuf_flush): Use MINVAL.
4162
4163         * wget.h (MINVAL): Moved from url.h.
4164
4165         * rbuf.h (RBUF_FD): New macro.
4166
4167         * url.c (add_url): Add to the head of the list.
4168
4169         * ftp.c (ftp_retrieve_list): Set the permissions to downloaded
4170         file.
4171         (getftp): Set the default permissions to 0600.
4172
4173 1998-02-21  Hrvoje Niksic  <hniksic@srce.hr>
4174
4175         * url.c (get_urls_html): Ditto.
4176         (convert_links): Ditto.
4177
4178         * recur.c (parse_robots): Ditto.
4179
4180         * html.c (ftp_index): Ditto.
4181
4182         * ftp-ls.c (ftp_parse_unix_ls): Open file as binary.
4183
4184         * init.c (defaults): Initialize `opt' to zero via memset.
4185
4186         * http.c (digest_authentication_encode): goto considered harmful.
4187
4188 1998-02-19  Hrvoje Niksic  <hniksic@srce.hr>
4189
4190         * ftp.c (delelement): Simplify and fix leak.
4191
4192 1998-02-18  Hrvoje Niksic  <hniksic@srce.hr>
4193
4194         * http.c (dump_hash): Use HEXD2ASC instead of home-grown stuff.
4195
4196         * url.h (HEXD2ASC): Removed warning.
4197
4198         * init.c (comind): Use binary search.
4199         (commands): Reorganized.
4200         (setval): Ditto.
4201         (cmd_boolean): New function.
4202         (cmd_number): Ditto.
4203         (cmd_number_inf): Ditto.
4204         (cmd_string): Ditto.
4205         (cmd_vector): Ditto.
4206         (cmd_directory_vector): Ditto.
4207         (cmd_bytes): Ditto.
4208         (cmd_time): Ditto.
4209         (cmd_spec_debug): Ditto.
4210         (cmd_spec_dirmode): Ditto.
4211         (cmd_spec_dirstruct): Ditto.
4212         (cmd_spec_dotstyle): Ditto.
4213         (cmd_spec_header): Ditto.
4214         (cmd_spec_htmlify): Ditto.
4215         (cmd_spec_mirror): Ditto.
4216         (cmd_spec_outputdocument): Ditto.
4217         (cmd_spec_recursive): Ditto.
4218         (settime): Merged with cmd_time().
4219         (setbytes): Merged with cmd_bytes().
4220         (setonoff): Merged with cmd_boolean().
4221         (onoff): Ditto.
4222
4223 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
4224
4225         * Makefile.in (distclean): Remove `config.h'.
4226
4227 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
4228
4229         * version.c: Wget 1.5-b8 is released.
4230
4231 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
4232
4233         * http.c (digest_authentication_encode): New function.
4234         (create_authorization_line): Use it.
4235         (dump_hash): New function.
4236         (digest_authentication_encode): Use it.
4237
4238         * fnmatch.c: Renamed from `mtch.c'.
4239
4240 1998-02-15  Karl Eichwalder  <ke@suse.de>
4241
4242         * main.c (main): Tag "Written by..." string as translatable.
4243
4244 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
4245
4246         * wget.h (FREE_MAYBE): New macro.
4247
4248         * http.c (create_authorization_line): Don't use ANSI C string
4249         concatenation feature.
4250         (basic_authentication_encode): Use alloca() for temporary
4251         variables.
4252
4253         * recur.h: Ditto.
4254
4255         * http.c: Ditto.
4256
4257         * headers.h: Ditto.
4258
4259         * ftp-basic.c: Protect declaration against non-ANSI compiler.
4260
4261         * http.c (create_authorization_line): Cast `unsigned char *' to
4262         `char *' for sprintf, to shut up the noisy Digital Unix cc.
4263
4264 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
4265
4266         * version.c: Wget 1.5-b7 is released.
4267
4268 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
4269
4270         * cmpt.c (strstr): Synched with glibc-2.0.6.
4271
4272         * ftp-basic.c (calculate_skey_response): Ditto.
4273         (calculate_skey_response): Use alloca().
4274
4275         * http.c (create_authorization_line): Work with FSF's version of
4276         md5.c.
4277
4278         * md5.c: New file, from GNU libc.
4279
4280 1998-02-14  Hrvoje Niksic  <hniksic@srce.hr>
4281
4282         * url.h (URL_CLEANSE): Name the temporary variable more carefully.
4283
4284 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
4285
4286         * http.c (basic_authentication_encode): New function, instead of
4287         the macro.
4288
4289 1998-02-13  Junio Hamano  <junio@twinsun.com>
4290
4291         * http.c: Add HTTP-DA support.
4292         * ftp-basic.c: Add Opie/S-key support.
4293         * config.h.in, Makefile.in: Add HTTP-DA and Opie/S-key support.
4294         * md5.c, md5.h: New files.
4295
4296 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
4297
4298         * http.c (http_process_range): Renamed from hprocrange().
4299         (http_process_range): Parse the whole header.
4300
4301         * headers.c: New file.
4302         (header_process): New function.
4303         (header_get): Renamed from fetch_next_header.
4304
4305         * all: Include utils.h only where necessary.
4306
4307         * wget.h: Declare xmalloc(), xrealloc() and xstrdup() here.
4308
4309         * wget.h: Add provisions for dmalloc.
4310
4311 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
4312
4313         * version.c: Wget 1.5-b6 is released.
4314
4315 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
4316
4317         * ftp.c (ftp_loop): Determine `filename' more precisely.
4318
4319         * init.c (setval): Don't set `opt.quiet' if output-document is
4320         `-'.
4321
4322         * log.c (log_init): Print to STDERR instead of STDOUT.
4323         (vlogmsg): Use STDERR by default.
4324         (logflush): Ditto.
4325
4326 1998-02-11  Simon Josefsson  <jas@pdc.kth.se>
4327
4328         * host.c: Use addr_in again.
4329
4330 1998-02-08  Karl Eichwalder  <karl@suse.de>
4331
4332         * http.c (gethttp): Fixed typo.
4333
4334 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
4335
4336         * version.c: Wget 1.5-b5 is released.
4337
4338 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
4339
4340         * retr.c (show_progress): Use it.
4341
4342         * log.c (logflush): New function.
4343
4344         * wget.h: Utilize __attribute__ if on gcc.
4345
4346 1998-02-07  Hrvoje Niksic  <hniksic@srce.hr>
4347
4348         * http.c (base64_encode_line): New argument LENGTH.
4349         (BASIC_AUTHENTICATION_ENCODE): Use it.
4350         (BASIC_AUTHENTICATION_ENCODE): Take length of HEADER into account.
4351
4352         * main.c (main): Fixed fprintf() format mismatch.
4353
4354 1998-02-06  Hrvoje Niksic  <hniksic@srce.hr>
4355
4356         * version.c: Wget 1.5-b4 is released.
4357
4358 1998-02-03  Simon Josefsson  <jas@pdc.kth.se>
4359
4360         * host.c: use sockaddr_in instead of addr_in.
4361
4362 1998-02-04  Hrvoje Niksic  <hniksic@srce.hr>
4363
4364         * init.c (cleanup): Use it.
4365
4366         * recur.c (recursive_cleanup): New function.
4367
4368         * retr.c (retrieve_from_file): Ditto.
4369
4370         * main.c (main): Use it.
4371
4372         * recur.c (recursive_reset): New function.
4373
4374         * retr.c (retrieve_from_file): Ditto.
4375
4376         * main.c (main): Simplify call to recursive_retrieve().
4377
4378         * recur.c (recursive_retrieve): Removed FLAGS argument.
4379
4380         * http.c (gethttp): Changed call to iwrite().
4381
4382 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
4383
4384         * url.c (get_urls_html): Ditto.
4385         (free_urlpos): Ditto.
4386         (mkstruct): Ditto.
4387         (construct): Ditto.
4388
4389         * retr.c (retrieve_url): Move declaration of local variables to
4390         smaller scope.
4391
4392         * url.c (urlproto): Use it.
4393         (parseurl): Ditto.
4394         (str_url): Ditto.
4395         (get_urls_html): Ditto.
4396
4397         * utils.h (ARRAY_SIZE): New macro.
4398
4399         * url.c (proto): Moved from url.h.
4400
4401         * url.h (URL_CLEANSE): Reformatted.
4402         (USE_PROXY_P): Renamed from USE_PROXY.
4403
4404         * ftp-basic.c: Adjust to the new interface of iwrite().
4405
4406         * ftp-basic.c (ftp_port): Use alloca().
4407
4408 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
4409
4410         * version.c: Wget 1.5-b3 is released.
4411
4412         * host.c (ftp_getaddress): Don't print to stderr directly.
4413
4414         * init.c (setbytes): Support `g' for gigabytes.
4415         (cmdtype): New specification CTIME.
4416         (setval): Use it with settime().
4417         (commands): Use it for WAIT and TIMEOUT.
4418
4419 1998-02-02  Hrvoje Niksic  <hniksic@srce.hr>
4420
4421         * http.c (BASIC_AUTHENTICATION_ENCODE): New macro.
4422         (gethttp): Use it.
4423
4424         * utils.c (unique_name_1): Moved from url.c.
4425         (unique_name): Ditto.
4426
4427         * url.c (url_filename): Ditto.
4428
4429         * log.c (redirect_output): Changed call to unique_name().
4430
4431         * url.c (unique_name_1): Renamed from unique_name().
4432         (unique_name): Changed interface.
4433
4434         * init.c (enum cmdid): Moved from init.h.
4435         (cmdtype): Ditto.
4436         (struct cmd): Ditto.
4437
4438         * main.c (main): Use it.
4439         (main): Moved `--backups' to not have a short option.
4440
4441         * options.h (struct options): New member BACKGROUND.
4442
4443         * main.c (print_help): Rearranged.
4444         (main): New long options for -n* short options: --no-directories,
4445         --no-host-directories, --non-verbose, --no-host-lookup and
4446         --dont-remove-listing.
4447
4448 1998-02-01  Hrvoje Niksic  <hniksic@srce.hr>
4449
4450         * main.c (main): Use log_close().
4451
4452         * log.c: New variable LOGFP.
4453         (vlogmsg): Use it.
4454         (redirect_output): Don't open /dev/null; set LOGFP to stdin
4455         instead.
4456         (log_close): New function.
4457
4458         * options.h (struct options): Removed LFILE.
4459
4460         * log.c (log_enable): Removed.
4461
4462         * main.c (main): Use it.
4463
4464         * log.c (log_init): New function.
4465
4466         * url.c (get_urls_html): Removed needless assignment to BASE.
4467
4468         * host.c (add_hlist): Don't set CMP needlessly.
4469
4470         * utils.c (match_backwards): Ditto.
4471         (in_acclist): Ditto.
4472
4473         * url.c (findurl): Ditto.
4474
4475         * netrc.c (parse_netrc): Ditto.
4476
4477         * log.c (log_dump): Ditto.
4478
4479         * html.c (html_quote_string): Ditto.
4480
4481         * ftp-basic.c (ftp_request): Made static.
4482
4483         * connect.c: Made global variables static.
4484
4485         * url.c (construct): Ditto.
4486
4487         * init.c (init_path): Avoid assignment inside `if'-condition.
4488
4489         * ftp.c: Don't include in.h or winsock.h.
4490
4491         * ftp.c (ftp_loop): Use SZ.
4492
4493         * connect.c (bindport): Cast &addrlen to int *.
4494         (conaddr): Ditto.
4495
4496         * init.c (initialize): Don't use SYSTEM_WGETRC unconditionally.
4497
4498 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
4499
4500         * ftp.c (getftp): Initialize opt.ftp_pass here.
4501         (ftp_retrieve_dirs): Use alloca().
4502
4503         * init.c (defaults): Don't initialize opt.ftp_pass.
4504
4505         * sysdep.h (S_ISLNK): Declare for OS/2; ditto for lstat.
4506         From Ivan F. Martinez <ivanfm@ecodigit.com.br>.
4507
4508 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
4509
4510         * recur.c (parse_robots): Check for comments more correctly.
4511
4512         * host.c (ftp_getaddress): Use STRDUP_ALLOCA.
4513         (ftp_getaddress): Add diagnostics when reverse-lookup yields only
4514         hostname.
4515
4516 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
4517
4518         * version.c: Wget 1.5-b2 is released.
4519
4520         * netrc.c (NETRC_FILE_NAME): Moved from netrc.h.
4521
4522         * utils.c (proclist): Pass FNM_PATHNAME to fnmatch().
4523
4524         * ftp-basic.c (ftp_pasv): Avoid unnecessary casting to unsigned
4525         char.
4526
4527         * log.c: Don't attempt to hide arguments from ansi2knr.
4528
4529         * cmpt.c: Synched strptime() and mktime() with glibc-2.0.6.
4530
4531         * ansi2knr.c: Use a later version, from fileutils-3.16l alpha.
4532
4533         * ftp.c (getftp): Ditto.
4534
4535         * http.c (gethttp): Use it.
4536
4537         * retr.c (get_contents): New argument EXPECTED; pass it to
4538         show_progress().
4539         (show_progress): New argument EXPECTED; use it to display
4540         percentages.
4541
4542         * init.c (setval): Ditto.
4543
4544         * http.c (gethttp): Ditto.
4545         (http_loop): Ditto.
4546
4547         * ftp.c (getftp): Ditto.
4548         (ftp_loop_internal): Ditto.
4549
4550         * ftp-ls.c (ftp_parse_unix_ls): Use abort() instead of assert(0).
4551
4552         * sysdep.h (CLOSE): Simplify; use DEBUGP.
4553
4554         * netrc.c (search_netrc): Use alloca().
4555
4556         * init.c (defaults): Initialize no_flush.
4557
4558         * log.c (vlogmsg): Don't flush if no_flush.
4559
4560         * options.h (struct options): New variable no_flush.
4561
4562         * main.c (main): Don't play games with buffering.
4563
4564         * log.c (vlogmsg): Flush the output after every message.
4565
4566 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
4567
4568         * init.c (parse_line): Ditto.
4569
4570         * url.c (get_urls_html): Ditto.
4571
4572         * main.c (main): Don't cast to unsigned char.
4573
4574         * init.c (run_wgetrc): Don't cast to unsigned char.
4575         (parse_line): Accept char instead of unsigned char.
4576
4577         * html.c (htmlfindurl): Use char instead of unsigned char.
4578
4579         * all: Use them.
4580
4581         * sysdep.h: Add wrappers to ctype macros to make them
4582         eight-bit-clean:
4583
4584 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
4585
4586         * html.c (htmlfindurl): Download <img lowsrc=...>
4587
4588         * main.c (main): Ignore SIGPIPE.
4589
4590         * connect.c (select_fd): New argument WRITEP.
4591         (iwrite): Call select_fd().
4592
4593 1997-02-27  Fila Kolodny <fila@ibi.com>
4594
4595         * ftp.c (ftp_retrieve_list): If retrieving symlink and the proper
4596         one already exists, just skip it.
4597
4598 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
4599
4600         * http.c (gethttp): Cosmetic changes.
4601
4602         * http.c (check_end): Allow `+D...' instead of `GMT'.
4603         From Fabrizio Pollastri <pollastri@cstv.to.cnr.it>.
4604
4605         * url.c (process_ftp_type): New function.
4606         (parseurl): Use it.
4607
4608         * connect.c (iwrite): Allow writing in a few chunks.
4609         (bindport): Made SRV static, so addr can point to it.
4610         (select_fd): Removed HPUX kludge.
4611
4612         * host.c (free_hlist): Incorporated into clean_hosts().
4613
4614 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
4615
4616         * host.c (hlist): Made static.
4617         (search_address): Cosmetic change.
4618
4619 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
4620
4621         * version.c: Wget v1.5-b1 is released.
4622
4623         * http.c (hgetlen): Use sizeof() to get the header length.
4624         (hgetrange): Ditto.
4625         (hgettype): Ditto.
4626         (hgetlocation): Ditto.
4627         (hgetmodified): Ditto.
4628         (haccepts_none): Ditto.
4629
4630         * main.c (main): Updated `--version' and `--help' output, as per
4631         Francois Pinard's suggestions.
4632
4633         * main.c: Include locale.h; call setlocale(), bindtextdomain() and 
4634         textdomain().
4635
4636         * config.h.in: Define stubs for I18N3.
4637
4638         * wget.h: Include libintl.h.
4639
4640 1998-01-28  Hrvoje Niksic  <hniksic@srce.hr>
4641
4642         * url.c (mkstruct): Check for opt.cut_dirs.
4643         (mkstruct): alloca()-te more, xmalloc() less.
4644
4645         * utils.c (load_file): Check for ferror().
4646
4647         * url.c (get_urls_file): Close only the files we opened.
4648         (get_urls_html): Ditto.
4649         (count_slashes): New function.
4650
4651         * http.h: Removed.
4652
4653         * http.c (gethttp): Respect username and password provided by
4654         proxy URL.
4655         (base64_encode_line): Write into an existing buffer instead of
4656         malloc-ing a new one.
4657         (struct http_stat): Moved from http.h
4658
4659         * retr.c (retrieve_url): Free SUF.
4660
4661         * all: Removed lots of unnecessary .h dependencies.
4662
4663         * html.c (global_state): Made static.
4664
4665         * utils.h (ALLOCA_ARRAY): New macro.
4666
4667         * main.c (main): New option `--cut-dirs'.
4668
4669         * url.c (construct): Use alloca() for T.
4670
4671         * utils.c (mkdirhier): Use STRDUP_ALLOCA.
4672
4673         * host.c (_host_t): Moved from host.h.
4674         (struct host): Renamed from _host_t.
4675         (store_hostaddress): Use STRDUP_ALLOCA for INET_S.
4676         (realhost): Ditto.
4677
4678         * host.h: Don't include url.h.
4679
4680         * ftp.c (LIST_FILENAME): Moved from ftp.h.
4681
4682         * init.c (DEFAULT_FTP_ACCT): Moved from ftp.h.
4683
4684         * main.c (main): Enable log if the output goes to a TTY.
4685
4686         * connect.h: Removed unused constant `BACKLOG'.
4687
4688         * config.h.in: Check for isatty().
4689
4690         * Makefile.in (LINK): Use CFLAGS when linking.
4691
4692 1998-01-27  Hrvoje Niksic  <hniksic@srce.hr>
4693
4694         * mswindows.c (ws_hangup): Use redirect_output().
4695
4696         * main.c (redirect_output_signal): New function; use
4697         redirect_output().
4698
4699         * log.c (redirect_output): New function, based on hangup(), which
4700         is deleted.
4701
4702         * log.c (vlogmsg): New function.
4703
4704         * wget.h (DEBUGP): Use debug_logmsg().
4705
4706         * main.c (hangup): Use it.
4707
4708         * log.c (log_dump): New function.
4709
4710         * utils.h (DO_REALLOC): Use `long' for various sizes.
4711
4712         * http.c (hskip_lws): Use `while', for clarity.
4713         (HTTP_DYNAMIC_LINE_BUFFER): New constant.
4714         (fetch_next_header): Use it instead of DYNAMIC_LINE_BUFFER.
4715
4716         * ftp-basic.c (FTP_DYNAMIC_LINE_BUFFER): New constant.
4717         (ftp_response): Use it instead of DYNAMIC_LINE_BUFFER.
4718
4719         * utils.c (DYNAMIC_LINE_BUFFER): Moved from utils.c.
4720         (LEGIBLE_SEPARATOR): Ditto.
4721         (FILE_BUFFER_SIZE): Ditto.
4722
4723         * retr.c (BUFFER_SIZE): Moved from retr.h.
4724
4725         * log.c: New file.
4726         (logmsg): Moved from utils.c.
4727         (debug_logmsg): New function.
4728
4729         * mswindows.h: Include it here.
4730
4731         * init.c: Ditto.
4732
4733         * utils.c: Don't include <windows.h>.
4734
4735 1998-01-25  Hrvoje Niksic  <hniksic@srce.hr>
4736
4737         * host.c (ftp_getaddress): Ditto.
4738
4739         * main.c (main): Use it.
4740
4741         * utils.h (STRDUP_ALLOCA): New macro.
4742
4743         * init.c: Prepend `wget: ' to error messages printed on stderr.
4744
4745         * utils.c (mkdirhier): Renamed from mymkdir.
4746         (touch): Renamed from my_touch.
4747         (pwd_cuserid): Renamed from my_cuserid().
4748
4749 1998-01-24  Andy Eskilsson  <andy.eskilsson@telelogic.se>
4750
4751         * utils.c (accdir): Process wildcards.
4752         (proclist): New function.
4753         (accdir): Use it to avoid code repetition.
4754
4755 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
4756
4757         * recur.c (parse_robots): Respect opt.useragent; use alloca().
4758
4759         * http.c (gethttp): Construct useragent accordingly.
4760
4761         * version.c: Changed version string to numbers-only.
4762
4763         * main.c (print_help): List all the options.
4764
4765         * mswindows.c (windows_main_junk): Initialize argv0 here.
4766
4767 1998-01-24  Karl Heuer  <kwzh@gnu.org>
4768
4769         * netrc.c (search_netrc): Initialize `l' only after processing
4770         netrc.
4771
4772         * main.c (main): Don't trap SIGHUP if it's being ignored.
4773
4774 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
4775
4776         * all: Use logmsg().
4777
4778         * utils.c (time_str): Moved from retr.c.
4779         (logmsg): New function.
4780         (logmsg_noflush): Ditto.
4781
4782         * rbuf.c: New file, moved buf_* functions here.
4783
4784         * ftp.c (ftp_expected_bytes): Moved from ftp-basic.c.
4785
4786         * ftp-basic.c (ftp_rest): Use prnum().
4787
4788         * ftp-basic.c: Ditto.
4789
4790         * ftp.c: Use the new reading functions and macros.
4791
4792         * retr.c (buf_initialize): New function.
4793         (buf_initialized_p): Ditto.
4794         (buf_uninitialize): Ditto.
4795         (buf_fd): Ditto.
4796
4797         * http.c (fetch_next_header): Use the BUF_READCHAR macro for
4798         efficiency.
4799         (gethttp): Use alloca() where appropriate.
4800
4801         * retr.c (buf_readchar): Use it.
4802         (buf_peek): Use rstreams.
4803
4804         * retr.h (BUF_READCHAR): New macro.
4805
4806         * init.c (home_dir): Rewritten for clarity.
4807         (init_path): Ditto.
4808
4809         * mswindows.c (ws_backgnd): Made static.
4810         (read_registry): Ditto.
4811         (ws_cleanup): Ditto.
4812         (ws_handler): Ditto.
4813
4814 1998-01-23  Hrvoje Niksic  <hniksic@srce.hr>
4815
4816         * alloca.c: New file.
4817
4818         * Makefile.in (ALLOCA): Define.
4819
4820         * mswindows.c (ws_help): Constify.
4821         (ws_help): Use alloca.
4822
4823         * mswindows.c: Reformat.
4824
4825         * all: Added _(...) annotations for I18N snarfing and translation.
4826
4827         * host.c (ftp_getaddress): Nuke SYSINFO.
4828         (ftp_getaddress): Don't use getdomainname().
4829         (ftp_getaddress): Use uname(), where available.
4830
4831         * http.c (gethttp): Protect a stray fprintf().
4832
4833         * init.c (settime): New function.
4834         (setval): Treat WAIT specially, allowing suffixes like `m' for
4835         minutes, etc.
4836
4837 1998-01-21  Hrvoje Niksic  <hniksic@srce.hr>
4838
4839         * url.c (get_urls_html): Use alloca() for TEMP.
4840
4841 1998-01-21  Jordan Mendelson  <jordy@wserv.com>
4842
4843         * url.c (rotate_backups): New function.
4844
4845         * http.c (gethttp): Ditto.
4846
4847         * ftp.c (getftp): Rotate backups.
4848
4849 1997-12-18  Hrvoje Niksic  <hniksic@srce.hr>
4850
4851         * all: Renamed nmalloc(), nrealloc() and nstrdup() to xmalloc(),
4852         xrealloc() and xstrdup().  Use the new functions.
4853
4854         * url.c (decode_string): Made static.
4855         (has_proto): Ditto.
4856         (parse_dir): Ditto.
4857         (parse_uname): Ditto.
4858         (mkstruct): Ditto.
4859         (construct): Ditto.
4860         (construct_relative): Ditto.
4861
4862         * retr.c (show_progress): Made static.
4863
4864         * recur.c (robots_url): Made static.
4865         (retrieve_robots): Ditto.
4866         (parse_robots): Ditto.
4867         (robots_match): Ditto.
4868
4869         * main.h: Removed.
4870
4871         * main.c (printhelp): Made static.
4872         (hangup): Ditto.
4873
4874         * init.c (comind): Made static.
4875         (defaults): Ditto.
4876         (init_path): Ditto.
4877         (run_wgetrc): Ditto.
4878         (onoff): Ditto.
4879         (setonoff): Ditto.
4880         (setnum): Ditto.
4881         (myatoi): Ditto.
4882         (getperms): Ditto.
4883         (setbytes): Ditto.
4884
4885         * http.c (fetch_next_header): Made static.
4886         (hparsestatline): Ditto.
4887         (hskip_lws): Ditto.
4888         (hgetlen): Ditto.
4889         (hgetrange): Ditto.
4890         (hgettype): Ditto.
4891         (hgetlocation): Ditto.
4892         (hgetmodified): Ditto.
4893         (haccepts_none): Ditto.
4894         (gethttp): Ditto.
4895         (base64_encode_line): Ditto.
4896         (mktime_from_utc): Ditto.
4897         (http_atotm): Ditto.
4898
4899         * html.c (idmatch): Made static.
4900
4901         * host.c (search_host): Made static.
4902         (search_address): Ditto.
4903         (free_hlist): Ditto.
4904
4905         * ftp.c (getftp): Made static.
4906         (ftp_loop_internal): Ditto.
4907         (ftp_get_listing): Ditto.
4908         (ftp_retrieve_list): Ditto.
4909         (ftp_retrieve_dirs): Ditto.
4910         (ftp_retrieve_glob): Ditto.
4911         (freefileinfo): Ditto.
4912         (delelement): Ditto.
4913
4914         * ftp-ls.c (symperms): Made static.
4915         (ftp_parse_unix_ls): Ditto.
4916
4917         * connect.c (select_fd): Made static.
4918
4919         * utils.c (xmalloc): Renamed from nmalloc.
4920         (xrealloc): Renamed from nrealloc.
4921         (xstrdup): Renamed from nstrdup.
4922
4923         * getopt.c (exchange): Use alloca.
4924
4925         * mswindows.c (mycuserid): Use strncpy.
4926
4927         * New files mswindows.c, mswindows.h, sysdep.h.  winjunk.c,
4928         systhings.h, windecl.h and winjunk.h removed.
4929
4930         * mswindows.c (sleep): New function.
4931
4932         * utils.c: Include <windows.h> under Windows.
4933
4934 1997-06-12  Darko Budor  <dbudor@zesoi.fer.hr>
4935
4936         * url.h (URL_UNSAFE): Change default under Windows.
4937
4938         * retr.c (retrieve_from_file): Respect opt.delete_after.
4939
4940         * main.c (main): Call ws_help on Windows.
4941
4942         * winjunk.c (windows_main_junk): New function.
4943
4944         * main.c (main): Junk-process argv[0].
4945
4946         * http.c (mktime_from_utc): Return -1 if mktime failed.
4947
4948         * http.c (http_loop): Ditto.
4949
4950         * ftp.c (ftp_loop_internal): Change title on Windows when using a
4951         new URL.
4952
4953         * winjunk.c (getdomainname): Lots of functions.
4954
4955 1997-06-12  Hrvoje Niksic  <hniksic@srce.hr>
4956
4957         * cmpt.c (strptime_internal): Handle years more correctly for
4958         `%y'.
4959
4960 1997-06-09  Mike Thomas <mthomas@reality.ctron.com>
4961
4962         * http.c (gethttp): Allocate enough space for
4963         `Proxy-Authorization' header.
4964
4965 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
4966
4967         * version.c: Wget/1.4.5 is released.
4968
4969 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
4970
4971         * retr.c (get_contents): Check return value of fwrite more
4972         carefully.
4973
4974 1997-03-30  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
4975
4976         * cmpt.c (strptime_internal) [case 'Y']: Always subtract 1900 from
4977         year, regardless of century.
4978
4979 1997-03-30  Hrvoje Niksic  <hniksic@srce.hr>
4980
4981         * utils.c (isfile): Use `lstat' instead of `stat'.
4982
4983 1997-03-29  Hrvoje Niksic  <hniksic@srce.hr>
4984
4985         * utils.c (numdigit): Use explicit test.
4986
4987 1997-03-21  Hrvoje Niksic  <hniksic@srce.hr>
4988
4989         * http.c (http_loop): Always use `url_filename' to get u->local.
4990
4991 1997-03-20  Hrvoje Niksic  <hniksic@srce.hr>
4992
4993         * url.c: Recognize https.
4994
4995 1997-03-13  Hrvoje Niksic  <hniksic@srce.hr>
4996
4997         * recur.c (recursive_retrieve): Lowercase just the host name.
4998
4999 1997-03-09  Hrvoje Niksic  <hniksic@srce.hr>
5000
5001         * url.c (get_urls_file): Use the correct test.
5002         (get_urls_html): Ditto.
5003
5004 1997-03-07  Hrvoje Niksic  <hniksic@srce.hr>
5005
5006         * connect.c: Reverted addrlen to int.
5007
5008         * init.c (parse_line): Check for -1 instead of NONE.
5009
5010         * version.c: Changed version to 1.4.5.
5011
5012 1997-02-17  Hrvoje Niksic  <hniksic@srce.hr>
5013
5014         * init.c: New option netrc.
5015         (initialize): Don't parse .netrc.
5016
5017         * cmpt.c (recursive): Return rp.
5018         (strptime_internal): Match the long strings first, the abbreviated
5019         second.
5020
5021 1997-02-16  Hrvoje Niksic  <hniksic@srce.hr>
5022
5023         * http.c (check_end): New function.
5024         (http_atotm): Use it.
5025  
5026 1997-02-13  gilles Cedoc  <gilles@cedocar.fr>
5027
5028         * http.c (gethttp): Use them.
5029
5030         * init.c: New options proxy_user and proxy_passwd.
5031
5032 1997-02-14  Hrvoje Niksic  <hniksic@srce.hr>
5033
5034         * ftp.c (ftp_retrieve_list): Create links even if not relative.
5035
5036 1997-02-10  Hrvoje Niksic  <hniksic@srce.hr>
5037
5038         * recur.c (recursive_retrieve): Lowercase the host name, if the
5039         URL is not "optimized".
5040
5041         * host.c (realhost): Return l->hostname, even if it matches with
5042         host.
5043
5044 1997-02-10  Marin Purgar  <pmc@asgard.hr>
5045
5046         * connect.c: Make addrlen size_t instead of int.
5047         (conaddr): Ditto.
5048
5049 1997-02-09  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
5050
5051         * systhings.h: Define S_ISLNK on NeXT too.
5052
5053 1997-02-09  Hrvoje Niksic  <hniksic@srce.hr>
5054
5055         * version.c: Released 1.4.3.
5056
5057         * url.c: Futher update to list of protostrings.
5058         (skip_proto): Skip `//' correctly for FTP and HTTP.
5059
5060         * url.c (get_urls_html): Handle bogus `http:' things a little
5061         different.
5062
5063         * main.c (main): Removed `follow-ftp' from `f'.
5064         (main): Dumped the `prefix-files' and `file-prefix' options and
5065         features; old and bogus.
5066         (main): Exit on failed setval() in `-e'.
5067
5068         * http.c (fetch_next_header): Use it to detect header continuation
5069         correctly.
5070
5071         * retr.c (buf_peek): New function.
5072
5073 1997-02-08  Hrvoje Niksic  <hniksic@srce.hr>
5074
5075         * wget.h: Include time.h and stuff.
5076
5077 1997-02-08  Roger Beeman  <beeman@cisco.com>
5078
5079         * ftp.c: Include <time.h>
5080
5081 1997-02-07  Hrvoje Niksic  <hniksic@srce.hr>
5082
5083         * url.c (findurl): Would read over buffer limits.
5084
5085 1997-02-06  Hrvoje Niksic  <hniksic@srce.hr>
5086
5087         * ftp-ls.c (ftp_parse_unix_ls): Allow spaces in file names.
5088
5089 1997-02-05  Hrvoje Niksic  <hniksic@srce.hr>
5090
5091         * http.c (http_atotm): Initialize tm.is_dst.
5092
5093 1997-02-02  Hrvoje Niksic  <hniksic@srce.hr>
5094
5095         * http.c (gethttp): Don't print the number of retrieved headers.
5096
5097         * main.c (main): New option `--no-clobber', alias for `-nc'.
5098
5099         * url.c: Recognize `https://'.
5100
5101 1997-02-01  Hrvoje Niksic  <hniksic@srce.hr>
5102
5103         * host.c (herrmsg): Don't use h_errno.
5104
5105 1997-01-30  Hrvoje Niksic  <hniksic@srce.hr>
5106
5107         * host.c (accept_domain): Use it.
5108
5109         * main.c (main): New option `--exclude-domains'.
5110
5111         * retr.c (retrieve_url): Use it.
5112         (retrieve_url): Bail out when an URL is redirecting to itself.
5113
5114         * url.c (url_equal): New function.
5115
5116 1997-01-29  Hrvoje Niksic  <hniksic@srce.hr>
5117
5118         * connect.c: Include arpa/inet.h instead of arpa/nameser.h.
5119
5120         * http.c (mk_utc_time): New function.
5121         (http_atotm): Use it; handle time zones correctly.
5122
5123 1997-01-28  Hrvoje Niksic  <hniksic@srce.hr>
5124
5125         * http.c: Ditto.
5126
5127         * ftp-basic.c: Use it instead of WRITE.
5128
5129         * connect.c (iwrite): New function.
5130
5131 1997-01-27  Hrvoje Niksic  <hniksic@srce.hr>
5132
5133         * cmpt.c (mktime): New function.
5134
5135         * netrc.c: Include <sys/types.h>.
5136
5137         * main.c (main): Wouldn't recognize --spider.
5138
5139         * retr.c (rate): Use `B', `KB' and `MB'.
5140         (reset_timer,elapsed_time): Moved from utils.c.
5141
5142         * ftp.c (ftp_retrieve_list): Ditto.
5143
5144         * http.c (http_loop): Don't touch the file if opt.dfp.
5145
5146 1997-01-24  Hrvoje Niksic  <hniksic@srce.hr>
5147
5148         * cmpt.c: New file.
5149
5150         * ftp.c (ftp_retrieve_glob): New argument semantics.
5151         (ftp_retrieve_dirs): Use it.
5152         (ftp_loop): Ditto.
5153
5154         * html.c (htmlfindurl): Recognize `'' as the quote char.
5155
5156 1997-01-23  Hrvoje Niksic  <hniksic@srce.hr>
5157
5158         * ftp.c (ftp_loop_internal): Use it.
5159
5160         * utils.c (remove_link): New function.
5161
5162 1997-01-22  Hrvoje Niksic  <hniksic@srce.hr>
5163
5164         * retr.c (retrieve_url): Require STRICT redirection URL.
5165
5166         * url.c (parseurl): New argument STRICT.
5167
5168         * http.c (hparsestatline): Be a little-bit less strict about
5169         status line format.
5170
5171 1997-01-21  Hrvoje Niksic  <hniksic@srce.hr>
5172
5173         * http.c (gethttp): Use it.
5174
5175         * main.c (main): Don't use '<digit>' as options.
5176
5177         * init.c: New option ignore_length.
5178
5179         * http.c (gethttp): Ditto.
5180         (http_loop): Check for redirection without Location:.
5181         (gethttp): Don't print Length unless RETROKF.
5182
5183         * ftp.c (getftp): Use it.
5184
5185         * url.c (mkalldirs): New function.
5186
5187         * utils.c (mymkdir): Don't check for existing non-directory.
5188
5189         * url.c (mkstruct): Don't create the directory.
5190
5191 1997-01-20  Hrvoje Niksic  <hniksic@srce.hr>
5192
5193         * init.c (setval): Removed NO_RECURSION checks.
5194
5195 1997-01-19  Hrvoje Niksic  <hniksic@srce.hr>
5196
5197         * version.c: "Released" 1.4.3-pre2.
5198
5199         * recur.c (recursive_retrieve): Bypass host checking only if URL
5200         is ftp AND parent URL is not ftp.
5201
5202         * ftp-basic.c (ftp_request): Print out Turtle Power.
5203
5204         * ftp.c (ftp_loop): Call ftp_retrieve_glob with 0 if there's no
5205         wildcard.
5206         (ftp_retrieve_glob): Call ftp_loop_internal even on empty list, if
5207         not glob.
5208
5209         * http.c (gethttp): Be a little bit smarter about status codes.
5210
5211         * recur.c (recursive_retrieve): Always reset opt.recursive when
5212         dealing with FTP.
5213
5214 1997-01-18  Hrvoje Niksic  <hniksic@srce.hr>
5215
5216         * retr.c (retrieve_url): New variable location_changed; use it for
5217         tests instead of mynewloc.
5218         (retrieve_url): Allow heuristic adding of html.
5219
5220         * url.c (url_filename): Don't use the `%' in Windows file names.
5221
5222         * http.c (http_loop): Always time-stamp the local file.
5223
5224         * http.c (http_loop): Ditto.
5225
5226         * ftp.c (ftp_retrieve_list): Use it.
5227
5228         * utils.c (my_touch): New function.
5229
5230         * ftp.c (ftp_retrieve_list): Use #ifdef HAVE_STRUCT_UTIMBUF
5231         instead of #ifndef NeXT.
5232
5233         * utils.c (strptime): New version, by Ulrich Drepper.
5234
5235 1997-01-17  Hrvoje Niksic  <hniksic@srce.hr>
5236
5237         * http.c (haccepts_none): Renamed from `haccepts_bytes'.
5238         (gethttp): If haccepts_none(), disable ACCEPTRANGES.
5239         (http_loop): Would remove ACCEPTRANGES.
5240
5241         * ftp.c (getftp): Call ftp_list with NULL.
5242
5243 1997-01-15  Hrvoje Niksic  <hniksic@srce.hr>
5244
5245         * html.c (ftp_index): Don't print minutes and seconds if we don't
5246         know them; beautify the output.
5247
5248         * ftp.c (getftp): Don't close the socket on FTPNSFOD.
5249
5250 1997-01-14  Hrvoje Niksic  <hniksic@srce.hr>
5251
5252         * utils.c (strptime): New function.
5253         (strptime): Don't use get_alt_number.
5254         (strptime): Don't use locale.
5255         (match_string): Made it a function.
5256
5257 1997-01-12  Hrvoje Niksic  <hniksic@srce.hr>
5258
5259         * http.c (http_atotm): New function.
5260         (http_loop): Use it.
5261
5262         * atotm.c: Removed from the distribution.
5263
5264         * http.c (base64_encode_line): Rewrite.
5265
5266 1997-01-09  Hrvoje Niksic  <hniksic@srce.hr>
5267
5268         * ftp.c (getftp): Use ftp_expected_bytes; print size.
5269
5270         * ftp-basic.c (ftp_response): Use ftp_last_respline.
5271         (ftp_expected_bytes): New function.
5272
5273         * ftp.c (getftp): Print the unauthoritative file length.
5274
5275         * ftp-ls.c: Renamed from ftp-unix.c.
5276         (ftp_parse_ls): Moved from ftp.c.
5277         (ftp_parse_unix_ls): Recognize seconds in time spec.
5278         (ftp_parse_unix_ls): Recognize year-less dates of the previous
5279         year.
5280
5281 1997-01-08  Hrvoje Niksic  <hniksic@srce.hr>
5282
5283         * ftp-basic.c: Don't declare errno if #defined.
5284
5285         * host.c (ftp_getaddress): Check for sysinfo legally.
5286
5287 1997-01-08  Darko Budor  <dbudor@diana.zems.fer.hr>
5288
5289         * connect.c (iread): Use READ.
5290
5291 1996-12-23  Hrvoje Niksic  <hniksic@srce.hr>
5292
5293         * url.c: Recognize finger, rlogin, tn3270, mid and cid as valid
5294         schemes.
5295
5296 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
5297
5298         * host.c (ftp_getaddress): Allow `.' in hostname.
5299
5300 1996-12-26  Darko Budor <dbudor@zems.fer.hr>
5301
5302         * wget.h: READ and WRITE macros for use instead of read and write
5303         on sockets, grep READ *.c, grep WRITE *.c
5304
5305         * wsstartup.c: new file - startup for winsock
5306
5307         * wsstartup.h: new file
5308
5309         * win32decl.h: new file - fixup for <errno.h> and winsock trouble
5310
5311         * configure.bat: Configure utility for MSVC
5312
5313         * src/Makefile.ms,config.h.ms: new files for use with MSVC 4.x
5314
5315 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
5316
5317         * version.c: Released 1.4.3-pre.
5318
5319         * utils.c (prnum): Accept long.
5320         (legible): Use prnum().
5321
5322         * connect.c (make_connection): Accept port as short.
5323         (bindport): Ditto.
5324
5325         * http.c (gethttp): Use search_netrc.
5326
5327 1996-12-21  Hrvoje Niksic  <hniksic@srce.hr>
5328
5329         * ftp.c (getftp): Use search_netrc.
5330
5331         * netrc.c (free_netrc): New function.
5332
5333         * init.c (home_dir): New function.
5334
5335         * url.c (convert_links): Allow REL2ABS changes.
5336
5337 1996-12-21  Gordon Matzigkeit  <gord@gnu.ai.mit.edu>
5338
5339         * netrc.c: New file.
5340         (parse_netrc, maybe_add_to_list): New functions.
5341
5342 1996-12-17  Hrvoje Niksic  <hniksic@srce.hr>
5343
5344         * retr.c (retrieve_url): Reset opt.recursion before calling
5345         ftp_loop if it is reached through newloc.
5346
5347         * init.c (run_wgetrc): Print the wgetrc path too, when reporting
5348         error; don't use "Syntax error", since we don't know if it is
5349         really a syntax error.
5350
5351 1996-12-16  Hrvoje Niksic  <hniksic@srce.hr>
5352
5353         * utils.c (acceptable): Extract the filename part of the path.
5354
5355         * recur.c (recursive_retrieve): Call acceptable() with the right
5356         argument; would bug out on wildcards.
5357
5358         * init.c (parse_line): Likewise.
5359
5360         * html.c (htmlfindurl): Cast to char * when calling stuff.
5361
5362 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
5363
5364         * ftp.c (getftp): Use ftp_pasv.
5365
5366         * ftp-basic.c (ftp_request): Accept NULL value.
5367         (ftp_pasv): New function.
5368
5369         * options.h (struct options): Add passive FTP option.
5370
5371 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
5372
5373         * url.c (parseurl): Debug output.
5374
5375         * utils.c (path_simplify): New one, adapted from bash's
5376         canonicalize_pathname().
5377
5378 1996-12-14  Hrvoje Niksic  <hniksic@srce.hr>
5379
5380         * ftp.c (getftp): Don't discard the buffer.
5381
5382         * retr.c (get_contents): New parameter nobuf.
5383
5384 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
5385
5386         * html.c (htmlfindurl): Recognize <meta contents="d; URL=...".
5387
5388         * init.c (setval): Strip the trailing slashes on CVECDIR.
5389
5390 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
5391
5392         * init.c: Make excludes and includes under CVECDIR instead of
5393         CVEC.
5394
5395 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
5396
5397         * url.c (get_urls_html): Skip "http:".
5398
5399 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
5400
5401         * utils.c (strcasecmp): From glibc.
5402         (strncasecmp): Also.
5403         (strstr): Also.
5404
5405         * url.c: Added javascript: to the list of URLs prefixes.
5406
5407 1996-12-12  Shawn McHorse  <riffraff@txdirect.net>
5408
5409         * recur.c (retrieve_robots): Print the warning message only if
5410         verbose.
5411
5412 1996-12-12  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
5413
5414         * ftp.c (ftp_retrieve_list): Use NeXT old utime interface.
5415
5416 1996-12-12  Hrvoje Niksic  <hniksic@srce.hr>
5417
5418         * systhings.h: New file.
5419
5420         * ../configure.in: Check for utime.h
5421
5422         * ftp.c: Check whether we have unistd.h.
5423
5424 1996-11-27  Hrvoje Niksic  <hniksic@srce.hr>
5425
5426         * recur.c (recursive_retrieve): Send the canonical URL as referer.
5427         (recursive_retrieve): Call get_urls_html with the canonical URL.
5428
5429 1996-12-13  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
5430
5431         * (configure.in, config.h.in, src/Makefile.in, src/*.[ch]): Add
5432         ansi2knr support for compilers which don't support ANSI style
5433         function prototypes and signatures.
5434
5435         * (aclocal.m4, src/ansi2knr.c, src/ansi2knr.1): New files.
5436
5437 1996-11-26  Hrvoje Niksic  <hniksic@srce.hr>
5438
5439         * url.c: Use it; Recognize paths ending with "." and ".." as
5440         directories.
5441         (url_filename): Append .n whenever file exists and could be a
5442         directory.
5443
5444         * url.h (ISDDOT): New macro.
5445
5446         * init.c (parse_line): Use unsigned char.
5447
5448         * url.c (get_urls_html): Cast to unsigned char * when calling
5449         htmlfindurl.
5450
5451         * html.c (htmlfindurl): Use unsigned char.
5452
5453         * version.c: Changed version to 1.4.3.
5454
5455 1996-11-25  Hrvoje Niksic  <hniksic@srce.hr>
5456
5457         * version.c: Released 1.4.2.
5458
5459         * ftp.c (getftp): Simplified assertion.
5460         (ftp_loop_internal): Remove symlink before downloading.
5461         (ftp_retrieve_list): Unlink the symlink name before attempting to
5462         create a symlink!
5463
5464         * options.h (struct options): Renamed print_server_response to
5465         server_response.
5466
5467         * ftp.c (rel_constr): Removed.
5468         (ftp_retrieve_list): Don't use it.
5469         (ftp_retrieve_list): Use opt.retr_symlinks.
5470
5471 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
5472
5473         * main.c (main): New option retr_symlinks.
5474
5475         * url.c (convert_links): Print verbose message.
5476
5477 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
5478
5479         * http.c (http_loop): Reset newloc in the beginning of function;
5480         would cause FMR in retrieve_url.
5481
5482 1996-11-23  Hrvoje Niksic  <hniksic@srce.hr>
5483
5484         * recur.c (convert_all_links): Find the URL of each HTML document,
5485         and feed it to get_urls_html; would bug out.
5486         (convert_all_links): Check for l2 instead of dl; removed dl.
5487
5488         * url.c (convert_links): Don't refer to freed newname.
5489
5490         * recur.c (recursive_retrieve): Add this_url to urls_downloaded.
5491
5492         * main.c (main): Print the OS_TYPE in the debug output, too.
5493
5494         * recur.c (recursive_retrieve): Check for opt.delete_after.
5495
5496         * main.c (main): New option delete-after.
5497
5498         * init.c (setval): Cleaned up.
5499
5500 1996-11-21  Hrvoje Niksic  <hniksic@srce.hr>
5501
5502         * Makefile.in (wget): Make `wget' the default target.
5503
5504         * ftp.c (ftp_loop_internal): Move noclobber checking out of the
5505         loop.
5506         (ftp_retrieve_list): Warn about non-matching sizes.
5507
5508         * http.c (http_loop): Made -nc non-dependent on opt.recursive.
5509
5510         * init.c (setnum): Renamed from setnuminf; New argument flags.
5511         (setval): Use it.
5512
5513         * main.c (main): Sorted the options.
5514         (main): New option --wait.
5515
5516 1996-11-21  Shawn McHorse  <riffraff@txdirect.net>
5517
5518         * html.c (htmlfindurl): Reset s->in_quote after getting out of
5519         quotes.
5520
5521 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
5522
5523         * version.c: Changed version to 1.4.2.
5524
5525 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
5526
5527         * version.c: Released 1.4.1.
5528
5529         * html.c (html_quote_string): New function.
5530         (ftp_index): Use it.
5531         (htmlfindurl): A more gentle ending debug message.
5532
5533         * ftp.c (ftp_loop): Check for opt.htmlify.
5534
5535         * init.c: New command htmlify.
5536
5537         * ftp.c (getftp): Nicer error messages, with `'-encapsulated
5538         strings.
5539         (ftp_loop): Print size of index.html.
5540
5541         * init.c (setval): Implement "styles".
5542
5543         * main.c (main): New option dotstyle.
5544
5545 1996-11-19  Hrvoje Niksic  <hniksic@srce.hr>
5546
5547         * ftp.c (getftp): Close the master socket in case of errors, after
5548         bindport().
5549
5550         * connect.c (bindport): Initialize msock to -1.
5551
5552         * ftp.c (getftp): Initialize dtsock to -1.
5553
5554         * connect.c (closeport): Don't close sock if sock == -1.
5555
5556 1996-11-18  Hrvoje Niksic  <hniksic@srce.hr>
5557
5558         * init.c (setnuminf): Nuked default value -- just leave unchanged.
5559         (setval): Don't send default values.
5560         (defaults): Use DEFAULT_TIMEOUT -- aaargh.
5561
5562         * options.h (struct options): Use long for dot_bytes.
5563
5564         * init.c (setquota): Renamed to setbytes.
5565         (setval): Use setbytes on DOTBYTES.
5566
5567 1996-11-17  Hrvoje Niksic  <hniksic@srce.hr>
5568
5569         * ftp.c (getftp): Initialize con->dltime.
5570
5571         * recur.c (recursive_retrieve): Use same_host instead of
5572         try_robots; simply load robots_txt whenever the host is changed.
5573         (recursive_retrieve): Free forbidden before calling parse_robots.
5574
5575 1996-11-16  Hrvoje Niksic  <hniksic@srce.hr>
5576
5577         * retr.c (show_progress): Use them.
5578
5579         * options.h (struct options): New options dot_bytes, dots_on_line
5580         and dot_spacing.
5581
5582 1996-11-16  Mark Boyns  <boyns@sdsu.edu>
5583
5584         * recur.c (recursive_retrieve): Retrieve directories regardless of
5585         acc/rej rules; check for empty u->file.
5586
5587 1996-11-14  Hrvoje Niksic  <hniksic@srce.hr>
5588
5589         * init.c (setval): Use it.
5590
5591         * utils.c (merge_vecs): New function.
5592
5593         * init.c (setval): Reset the list-type functions when encountering
5594         "".
5595
5596 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
5597
5598         * recur.c (recursive_retrieve): Use base_url instead of this_url
5599         for no_parent.
5600
5601 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
5602
5603         * html.c (htmlfindurl): Reset s->in_quote after exiting the quote.
5604
5605 1996-11-13  Hrvoje Niksic  <hniksic@srce.hr>
5606
5607         * utils.c (sepstring): Rewrote; don't use strtok.
5608
5609         * recur.c (recursive_retrieve): Enter assorted this_url to slist
5610         when running the first time.
5611         (retrieve_robots): Warn to ignore errors when robots are loaded.
5612
5613         * utils.c (load_file): Moved from url.c.
5614
5615         * http.c: Made static variables const too in h* functions.
5616
5617         * main.c (main): Renamed --continue-ftp to --continue.
5618
5619         * recur.c (recursive_retrieve): Use it.
5620
5621         * utils.c (frontcmp): New function.
5622
5623         * url.c (accdir): New function.
5624
5625         * html.c (htmlfindurl): Recognize <area href=...>.
5626
5627         * ftp.c (ftp_retrieve_dirs): Implemented opt.includes.
5628
5629         * init.c (setval): Free the existing opt.excludes and
5630         opt.includes, if available.
5631
5632         * main.c (main): New option -I.
5633
5634 1996-11-12  Hrvoje Niksic  <hniksic@srce.hr>
5635
5636         * ftp.c (ftp_retrieve_glob): Do not weed out directories.
5637
5638         * version.c: Changed version to 1.4.1.
5639
5640 1996-11-11  Hrvoje Niksic  <hniksic@srce.hr>
5641
5642         * version.c: Released 1.4.0.
5643
5644 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
5645
5646         * main.c (main): Free com and val after parse_line.
5647         (printhelp): Reorder the listing.
5648
5649         * http.c: More robust header parsing.
5650
5651         * http.c: Allow any number of spaces, or no spaces, precede ':'.
5652         (hskip_lws): New function.
5653         (haccepts_bytes): New function.
5654         (gethttp): Use it.
5655
5656         * init.c (setval): Check header sanity.
5657         (setval): Allow resetting of headers.
5658
5659 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
5660
5661         * http.c (http_loop): Don't use has_wildcards.
5662
5663         * http.c (gethttp): Free all_headers -- would leak.
5664
5665         * recur.c (recursive_retrieve): Initialize depth to 1 instead of
5666         0 -- this fixes a long-standing bug in -rl.
5667
5668 1996-11-09  Hrvoje Niksic  <hniksic@srce.hr>
5669
5670         * ftp.c: Use -1 as "impossible" value for con->fd.
5671
5672         * url.h (URL_SEPARATOR): Don't treat `*' and `+' as separators.
5673
5674         * init.c (parse_line): Use isalpha.
5675
5676         * ftp-unix.c: Use HAVE_UNISTD_H.
5677
5678         * mtch.c (has_wildcards): Don't match \.
5679
5680         * http.c (http_loop): Warn on HTTP wildcard usage.
5681
5682 1996-11-08  Hrvoje Niksic  <hniksic@srce.hr>
5683
5684         * url.c (url_filename): Do not create numbered suffixes if
5685         opt.noclobber -- would bug out on -nc.
5686
5687 1996-11-07  Hrvoje Niksic  <hniksic@srce.hr>
5688
5689         * recur.c (parse_robots): Don't chuck out the commands without
5690         arguments (`Disallow:<empty>' didn't work).
5691         (parse_robots): Compare versions lowercase.
5692         (parse_robots): Match on base_version, not version_string!
5693         (parse_robots): Handle comments properly.
5694         (parse_robots): Match versions in a sane way.
5695
5696         * init.c: Print nicer error messages.
5697
5698         * version.c: Changed version to 1.4.0.
5699
5700 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
5701
5702         * version.c: Released 1.4.0-test2.
5703
5704         * init.c (run_wgetrc): Close fp.
5705
5706         * ftp.c (ftp_retrieve_dirs): Allocate the correct length for
5707         u->dir.
5708
5709 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
5710
5711         * init.c (setquota): Allow inf as quota specification.
5712
5713 1996-11-05  Hrvoje Niksic  <hniksic@srce.hr>
5714
5715         * ftp.c (ftp_retrieve_dirs): Return QUOTEXC if quota exceeded.
5716         (ftp_retrieve_glob): Return QUOTEXC on quota exceeded.
5717
5718         * main.c (main): Check for quota by comparison with downloaded
5719         stuff, not from status.
5720
5721         * connect.c (select_fd): Should compile on HPUX without warnings now.
5722
5723         * ftp.c (ftp_get_listing): Check whether ftp_loop_internal
5724         returned RETROK.
5725
5726 1996-11-04  Hrvoje Niksic  <hniksic@srce.hr>
5727
5728         * ftp.c (ftp_retrieve_glob): Print the pattern nicely.
5729         (getftp): Return FTPRETRINT on control connection error.
5730
5731         * html.c (htmlfindurl): Recognize <embed src=...> and
5732         <bgsound src=...>.
5733         (ftp_index): Handle username and password correctly.
5734
5735         * main.c (main): Made `-np' a synonim for --no-parent.
5736
5737 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
5738
5739         * ftp.c (ftp_loop): Check for opt.ftp_glob too before calling
5740         ftp_retrieve_glob.
5741
5742         * version.c: Changed version to 1.4.0-test2.
5743
5744 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
5745
5746         * version.c: Released 1.4.0-test1.
5747
5748         * url.c (str_url): Don't use sprintf when creating %2F-prefixed
5749         directory.
5750         (convert_links): Removed definition of make_backup.
5751
5752         * http.h: Removed definition of MAX_ERROR_LENGTH.
5753
5754         * host.c (ftp_getaddress): Check for "(none)" domains.
5755
5756         * ftp.c (ftp_retrieve_dirs): Docfix.
5757
5758         * http.c (gethttp): Use ou->referer instead of u->referer.
5759
5760         * retr.c (retrieve_url): Reset u to avoid freeing pointers twice;
5761         this was known to cause coredumps on Linux.
5762
5763         * html.c (ftp_index): Cast the argument to local_time to time_t *.
5764
5765 1996-11-01  Hrvoje Niksic  <hniksic@srce.hr>
5766
5767         * connect.c (select_fd): Use exceptfds -- once and for all.
5768
5769         * retr.c (retrieve_from_file): Free filename after
5770         recursive_retrieve.
5771         (retrieve_from_file): Send RFIRST_TIME to recursive_retrieve on
5772         first-time retrieval.
5773         (retrieve_from_file): Return uerr_t; new argument, count.
5774         (retrieve_from_file): Break on QUOTEXC.
5775
5776         * init.c (setquota): Fixed a bug that caused rejection of
5777         non-postfixed values..
5778
5779 1996-10-30  Hrvoje Niksic  <hniksic@srce.hr>
5780
5781         * version.c: Changed name to wget.
5782
5783         * connect.c (iread): Smarter use of select.
5784         (select_fd): Set errno on timeout.  If not timeout, return 1
5785         instead of 0.
5786
5787 1996-10-29  Hrvoje Niksic  <hniksic@srce.hr>
5788
5789         * ftp.c (ftp_loop_internal): Don't use con->cmd before
5790         establishing it.
5791
5792 1996-10-26  Hrvoje Niksic  <hniksic@srce.hr>
5793
5794         * http.c (gethttp): Send correct referer when using proxy.
5795         (gethttp): Use struct urlinfo ou to access the relevant data; send
5796         correct authorization in all cases.
5797
5798         * host.c (same_host): Use skip_uname to skip username and
5799         password.
5800
5801         * url.c (skip_uname): New function.
5802         (parseurl): Use it.
5803
5804         * host.c (same_host): Do not assume HTTP -- same_host should now
5805         be totally foolproof.
5806
5807         * url.c (skip_proto): New function.
5808         (parse_uname): Use it.
5809
5810         * http.c (gethttp): Create local user and passwd from what is
5811         given.
5812
5813         * url.c (parseurl): Check for HTTP username and password too.
5814
5815 1996-10-25  Hrvoje Niksic  <hniksic@srce.hr>
5816
5817         * config.h.in: Removed #define gethostbyname R...
5818
5819 1996-10-22  Hrvoje Niksic  <hniksic@srce.hr>
5820
5821         * version.c: Changed version to 1.4.0-test1.
5822
5823 1996-10-21  Hrvoje Niksic  <hniksic@srce.hr>
5824
5825         * version.c: "Released" 1.4b29.
5826
5827         * recur.c (recursive_retrieve): Check for no_parent.
5828
5829         * init.c (setval): Option update.
5830
5831         * main.c (main): New option no-parent.
5832
5833         * options.h (struct options): New variable no_parent.
5834
5835         * recur.c (recursive_retrieve): Only files are checked for
5836         opt.accepts and opt.rejects.
5837         (recursive_retrieve): Check directories for opt.excludes.
5838         (recursive_retrieve): Make the dir absolute when checking
5839         opt.excludes.
5840
5841         * html.c (htmlfindurl): Recognize <applet code=...> and <script
5842         src=...>
5843
5844 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
5845
5846         * ftp.c (getftp): Do not line-break assert entries at all.
5847         (ftp_retrieve_dirs): docfix.
5848
5849         * connect.c (select_fd): Use fd + 1 as nfds.
5850
5851         * version.c: Changed version to 1.4b29.
5852
5853 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
5854
5855         * version.c: "Released" 1.4b28.
5856
5857         * ftp.c (ftp_loop_internal): Check whether f->size == len and
5858         don't continue the loop if it is.
5859         (ftp_get_listing): Remove list_filename on unsuccesful loop.
5860
5861 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
5862
5863         * ftp.c (ftp_loop_internal): Use strcpy to initialize tmp.
5864         (getftp): Do not use multiline assert.
5865
5866         * http.c (hparsestatline): Use mjr and mnr instead of major and
5867         minor, which don't compile on Ultrix.
5868         (http_loop): Use strcpy() to initialize tmp.
5869
5870         * all: Geturl -> Fetch
5871
5872 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
5873
5874         * recur.c (parse_robots): Fixed an off-by-one bug when looking for
5875         ':'.
5876
5877         * html.c (htmlfindurl): Fixed several possible off-by-one bugs by
5878         moving `bufsize &&' to the beginning of each check in for-loops.
5879
5880         * recur.c (parse_robots): Close fp on exit.
5881
5882         * url.c (mymkdir): Check for each directory before creating.
5883
5884 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
5885
5886         * version.c: Changed version to 1.4b28.
5887
5888 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
5889
5890         * version.c: "Released" 1.4b27.
5891
5892         * init.c (parse_line): Use isspace.
5893         (parse_line): Free *com on all errors.
5894
5895         * ftp.c (ftp_loop): Change FTPOK to RETROK before exiting.
5896         (delelement): Use next instead of f->next and prev instead of
5897         f->prev.
5898         (delelement): Free the members of the deleted element.
5899
5900         * http.c (http_loop): Do not return RETROK on code != 20x.
5901
5902         * init.c (cleanup): Free opt.user_header.
5903         (cleanup): Free opt.domains.
5904
5905         * url.c (freelists): Moved to cleanup().
5906
5907         * http.c (hparsestatline): Docfix.
5908
5909         * main.c (main): Return with error status on unsuccesful
5910         retrieval.
5911
5912         * init.c (setval): Do not remove listing when mirroring.
5913
5914         * url.c (url_filename): Use opt.fileprefix.
5915
5916         * ftp.c (ftp_get_listing): Use url_filename to get filename for
5917         .listing.
5918
5919         * main.c (main): New option: -rn.
5920
5921 1996-10-15  Hrvoje Niksic  <hniksic@srce.hr>
5922
5923         * Makefile.in (RM): Added RM = rm -f.
5924
5925         * host.c (clean_hosts): New function.
5926         (free_hlist): Just free the list, no reset.
5927
5928         * version.c: Changed version to 1.4b27.
5929
5930 1996-10-13  Hrvoje Niksic  <hniksic@srce.hr>
5931
5932         * version.c: "Released" 1.4b26.
5933
5934         * retr.c (retrieve_from_file): If call get_urls_html with
5935         opt.spider to make it silent in spider mode.
5936
5937         * url.c (str_url): Use CLEANDUP instead of URL_CLEANSE.
5938
5939         * url.h (CLEANDUP): New macro.
5940
5941         * http.c (gethttp): Fixed a bug that freed location only when it
5942         was NULL.
5943
5944         * retr.c (retrieve_url): Free url if it will not be stored,
5945         i.e. newloc is NULL.
5946
5947         * html.c (htmlfindurl): Handle exiting from quotes correctly; the
5948         old version would bug out on <a href="x#a"href="y">.
5949
5950         * html.h (state_t): New member in_quote.
5951
5952         * html.c (htmlfindurl): Free s->attr at the beginning of
5953         attr-loop.
5954
5955         * recur.c (recursive_retrieve): Recognize RCLEANUP.
5956         (tried_robots): Make hosts a global variable.
5957         (recursive_retrieve): Free constr after URL host optimization.
5958         (tried_robots): Free urlinfo before exiting.
5959
5960         * utils.c (free_slist): New function.
5961
5962         * recur.c (recursive_retrieve): Use flags to add cleanup
5963         possibility.
5964
5965         * main.c (main): Free filename after recursive_retrieve.
5966
5967         * http.c (gethttp): Store successful responses too.
5968
5969 1996-10-12  Hrvoje Niksic  <hniksic@srce.hr>
5970
5971         * all: Constified the whole source.  This required some minor
5972         changes in many functions in url.c, possibly introducing bugs -- I
5973         hope not.
5974
5975         * ftp-basic.c: Removed last_respline.
5976
5977         * http.c (gethttp): Free type.
5978
5979         * host.c (same_host): Free real1 and real2.
5980
5981         * main.c (main): New option --spider.
5982
5983         * retr.c (get_contents): Don't reset errno.
5984
5985         * main.c (main): Sorted the options.
5986
5987         * connect.c (iread): Set errno to ETIMEDOUT only if it was left
5988         uninitialized by select().
5989
5990         * http.c (http_loop): Print the time when the connection is
5991         closed.
5992         (gethttp): Debug-print the HTTP request.
5993
5994 1996-10-11  Hrvoje Niksic  <hniksic@srce.hr>
5995
5996         * connect.c (iread): Do not try reading after timeout.
5997
5998         * main.c (main): Would bug out on -T.
5999
6000         * connect.c (select_fd): Do not use exceptfds.
6001         (iread): Set ETIMEDOUT on select_fd <= 0.
6002
6003         * version.c: Changed version to 1.4b26.
6004
6005 1996-10-10  Hrvoje Niksic  <hniksic@srce.hr>
6006
6007         * version.c: "Released" 1.4b25.
6008
6009         * ftp-unix.c (ftp_parse_unix_ls): Ignore lines without file name
6010         or link name.
6011
6012         * http.c (gethttp): Add errcode to struct hstat.
6013         (http_loop): Use it.
6014
6015         * url.c (no_proxy_match): Simplify using char** for no_proxy.
6016
6017         * options.h (struct options): Make opt.no_proxy a vector.
6018
6019         * utils.c (sepstring): Use !*s instead of !strlen(s).
6020
6021         * init.c (setval): Set opt.maxreclevel to 0 on --mirror.
6022         (getperms): Use ISODIGIT instead of isdigit.
6023
6024         * ftp.c (getftp): Print time.
6025
6026         * main.c (main): Use legible output of downloaded quantity.
6027
6028         * ftp.c (getftp): Use elapsed_time().
6029         (ftp_loop_internal): Use rate().
6030
6031         * http.c (http_loop): Add download ratio output; Use rate().
6032
6033         * utils.c (rate): New function.
6034
6035 1996-10-09  Hrvoje Niksic  <hniksic@srce.hr>
6036
6037         * http.c (http_loop): Use timer.
6038
6039         * ftp.c: Split to ftp-basic.c and ftp.c
6040
6041         * utils.c (reset_timer): New function.
6042         (elapsed_time): New function.
6043
6044         * retr.c (show_progress): Make bytes_in_line and offs long; should
6045         work on 16-bit machines.
6046
6047 1996-10-08  Hrvoje Niksic  <hniksic@srce.hr>
6048
6049         * url.c (in_acclist): New argument backward.
6050
6051         * ftp.c (ftp_retrieve_glob): Use acceptable() to determine whether
6052         a file should be retrieved according to suffix.
6053         (ftp_get_listing): Check the return value of unlink; Do not call
6054         ftp_retrieve_dirs if depth reached maxreclevel.
6055         (ftp_retrieve_dirs): Check whether the directory is in
6056         exclude-list.
6057
6058         * main.c (main): Print the version number at the beginning of
6059         DEBUG output.
6060         (main): Use strrchr when creating exec_name.
6061
6062         * ftp.c (ftp_retrieve_glob): Do not close control connection.
6063
6064         * version.c: Changed version to 1.4b25.
6065
6066 1996-10-07  Hrvoje Niksic  <hniksic@srce.hr>
6067
6068         * version.c: "Released" 1.4b24.
6069
6070         * Makefile.in: Rewrite.
6071
6072         * ftp.c (ftp_loop_internal): Likewise.
6073
6074         * retr.c (time_str): Check for failed time().
6075
6076         * html.c (htmlfindurl): Recognize <fig src> and <overlay src> from
6077         HTML3.0.
6078
6079         * retr.c (time_str): Return time_t *.
6080
6081         * connect.c (bindport): Close msock on unsuccesful bind.
6082         (bindport): The same for getsockname and listen.
6083
6084         * retr.c (retrieve_url): Allow any number of retries on
6085         proxy.
6086
6087         * http.c (gethttp): Do not treat errno == 0 as timeout.
6088         (http_loop): Likewise.
6089         (http_loop): Cosmetic changes.
6090
6091         * connect.c (iread): Set errno to ETIMEDOUT in case of timeout.
6092
6093         * retr.c (get_contents): Reset errno.
6094
6095         * ftp.c (getftp): Minor fixes.
6096
6097 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
6098
6099         * http.c: Do not use backups.
6100
6101         * geturl.1 (WARNING): Warn that man-page could be obsolete.
6102
6103         * getopt.c (getopt_long): Moved to getopt.c
6104
6105         * geturl.texi: Enhanced.
6106
6107         * main.c (main): Use it.
6108
6109         * recur.c (convert_all_links): New function.
6110
6111         * utils.c (add_slist): New argument flags.
6112
6113         * recur.c (recursive_retrieve): Update a list of downloaded URLs.
6114         (parse_robots): Do not chuck out empty value fields.
6115         (parse_robots): Make yourself welcome on empty Disallow.
6116
6117         * version.c: Changed version to 1.4b24.
6118
6119 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
6120
6121         * version.c: "Released" 1.4b23.
6122
6123         * ftp.c (ftp_loop_internal): Get the time after getftp.
6124
6125         * Makefile.in (install.info): New target.
6126         (install): Use it.
6127
6128         * http.c (http_loop): Fix output when doing -O.
6129
6130 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
6131
6132         * geturl.texi: New file.
6133
6134         * main.c (main): Do not print the warnings and download summary if
6135         opt.quiet is set.
6136
6137         * version.c: Changed version to 1.4b23.
6138
6139 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
6140
6141         * "Released" 1.4b22.
6142
6143         * atotm.c (atotm): Use True and False instead of TRUE and FALSE,
6144         to avoid redefinition warnings.
6145
6146         * host.c (store_hostaddress): Use memcpy() to copy the address
6147         returned by inet_addr.
6148
6149         * version.c: Changed version to 1.4b22.
6150
6151 1996-10-04  Hrvoje Niksic  <hniksic@srce.hr>
6152
6153         * version.c: "Released" 1.4b21.
6154
6155         * ftp-unix.c (ftp_parse_ls): Renamed to ftp_parse_unix_ls.
6156
6157         * ftp.c (ftp_port): Use conaddr.
6158         (getftp): Print the file length.
6159         (ftp_retrieve_list): Check the stamps of plain files only.
6160
6161         * connect.c (closeport): Do not call shutdown().
6162         (conaddr): New function.
6163
6164         * html.c (ftp_index): Made it dfp-aware.
6165
6166         * init.c (cleanup): New name of freemem. Close opt.dfp.
6167
6168         * ftp.c (getftp): Use opt.dfp if it is set.
6169
6170         * ftp-unix.c (ftp_parse_ls): Recognize time in h:mm format.
6171
6172         * ftp.c (ftp_retrieve_dirs): Fixed a bug that caused incorrect
6173         CWDs to be sent with recursive FTP retrievals.
6174
6175 1996-10-03  Hrvoje Niksic  <hniksic@srce.hr>
6176
6177         * recur.c (parse_robots): Made it more compliant with "official"
6178         specifications.
6179
6180         * http.c: New function.
6181
6182         * ftp-unix.c (ftp_parse_ls): Added better debug output.
6183
6184         * ftp.c (getftp): Print out the LIST in case of
6185         opt.print_server_response.
6186
6187         * version.c: Changed version to 1.4b21.
6188
6189 1996-10-01  Hrvoje Niksic  <hniksic@srce.hr>
6190
6191         * version.c: "Released" 1.4b20.
6192
6193         * README: Update.
6194
6195         * http.c (gethttp): Preset lengths of various headers instead of
6196         calculating them dynamically.
6197         (gethttp): Check for 206 partial contents.
6198
6199 1996-09-30  Hrvoje Niksic  <hniksic@srce.hr>
6200
6201         * configure.in: Set SYSTEM_GETURLRC to $libdir/geturlrc
6202
6203         * http.c (gethttp): Send the port number in the Host: header.
6204
6205 1996-09-29  Hrvoje Niksic  <hniksic@srce.hr>
6206
6207         * http.c (gethttp): Send host: header.
6208         (gethttp): Add the possibility of user-defined headers.
6209         (gethttp): Move decision about pragma: no-cache to http_loop,
6210         where it belongs.
6211         (gethttp): Pass a struct instead of enormous argument list.
6212         (http_loop): Use a new, fancier display format.
6213         (ftp_loop): Likewise.
6214
6215         * main.c: (hangup): Turn off buffering of the new log file.
6216
6217         * install-sh: Likewise.
6218
6219         * config.sub: Replace with the one in autoconf-2.10
6220
6221         * geturl.1: Update.
6222
6223         * init.c: New options httpuser and httppasswd.
6224
6225         * http.c: (base64_encode_line): New function.
6226         (gethttp): Send authentication.
6227
6228         * connect.c (make_connection): Use store_hostaddress.
6229
6230 1996-09-28  Hrvoje Niksic  <hniksic@srce.hr>
6231
6232         * host.c (store_hostaddress): New function.
6233
6234         * NEWS: Update.
6235
6236         * http.c (hgetrange): New function.
6237         (gethttp): Use ranges.
6238
6239         * utils.c (numdigit): Accept long instead of int.
6240
6241         * http.c (http_loop): Add restart capabilities.
6242
6243         * ftp.c (ftp_retrieve_glob): Fixed a bug that could cause matchres
6244         being used uninitialized.
6245         (ftp_retrieve_list): Similar fix.
6246
6247         * host.c (add_hlist): Fixed a bug that could cause cmp being used
6248         uninitialized.
6249
6250         * url.c (construct_relative): New function.
6251
6252         * recur.c (recursive_retrieve): Use it.
6253
6254         * retr.c (convert_links): New function.
6255
6256 1996-09-27  Hrvoje Niksic  <hniksic@srce.hr>
6257
6258         * url.c (free_urlpos): New function.
6259
6260         * recur.c (recursive_retrieve): Adapt.
6261
6262         * url.c (get_urls_html): Return a linked list instead of a vector.
6263
6264         * url.c (get_urls_file): Return a linked list instead of a vector.
6265
6266         * geturl.1: Update.
6267
6268         * http.c (gethttp): Implement it.
6269
6270         * init.c (setval): New option: SAVEHEADERS
6271
6272         * ftp.c (ftp_loop_internal): Do not set restval if listing is to
6273         be retrieved. Lack of this test caused bugs when the connection
6274         was lost during listing.
6275
6276         * retr.c (retrieve_url): Fixed a bug that caused
6277         coredumps. *newloc is now reset by default.
6278         (retrieve_url): Lift the twenty-tries limit on proxies.
6279
6280         * version.c: Changed version to 1.4b20.
6281
6282 1996-09-20  Hrvoje Niksic  <hniksic@srce.hr>
6283
6284         * version.c: "Released" 1.4b19.
6285
6286 1996-09-19  Hrvoje Niksic  <hniksic@srce.hr>
6287
6288         * ftp.c (ftp_loop_internal): Renamed from ftp_1fl_loop.
6289         (getftp): Changed prototype to accept ccon *.
6290
6291 1996-09-17  Hrvoje Niksic  <hniksic@srce.hr>
6292
6293         * ftp.c (ftp_retrieve_list): Fixed a bug that caused setting
6294         incorrect values to files pointed to by symbolic links.
6295         (ftp_1fl_loop): Do not count listings among the downloaded URL-s.
6296
6297 1996-09-16  Hrvoje Niksic  <hniksic@srce.hr>
6298
6299         * url.c (mkstruct): Do not prepend "./" in front of a pathname.
6300
6301         * main.c (main): New option: --user-agent.
6302
6303         * geturl.1: Ditto.
6304
6305         * init.h: Ditto.
6306
6307         * init.c (setval): Ditto.
6308
6309         * main.c (main): Rename "server-headers" to "server-response".
6310
6311         * ftp-unix.c (ftp_parse_ls): Check for asterisks at the end of
6312         executables in 'ls -F' listings.
6313
6314 1996-09-15  Hrvoje Niksic  <hniksic@srce.hr>
6315
6316         * url.c (parseurl): Remove realloc() and sprintf().
6317         (str_url): Get rid of sprintf().
6318
6319         * recur.c (recursive_retrieve): Enable FTP recursion through proxy
6320         servers.
6321
6322         * url.h (URL_CLEANSE): Made it else-resistant.
6323         (USE_PROXY): New macro.
6324
6325 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
6326
6327         * NEWS: Update.
6328
6329         * version.c: Changed version to 1.4b19.
6330
6331 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
6332
6333         * version.c: "Released" 1.4b18.
6334
6335         * url.c: Made it reallocate space exponentially.
6336
6337 1996-09-14  Drazen Kacar  <dave@fly.cc.fer.hr>
6338
6339         * html.c (htmlfindurl): Added <frame src> and <iframe src> among
6340         the list of stuff to fetch.
6341
6342 1996-09-13  Hrvoje Niksic  <hniksic@srce.hr>
6343
6344         * url.c (get_urls_html): Fixed a bug that caused SIGSEGV's with
6345         -Fi.
6346
6347         * html.c (htmlfindurl): Rewrite.
6348
6349         * http.c (gethttp): Use opt.proxy_cache.
6350
6351         * main.c (main): Added --cache option.
6352
6353         * ftp.c (ftp_response): Print server response if opt.print_server
6354         response is set.
6355         (getftp): Print newlines after each request if the server response
6356         is to be printed.
6357         (ftp_response): Copy the last response line to last_respline.
6358
6359         * http.c (gethttp): Add Pragma: nocache for retried
6360         proxy-retrievals.
6361
6362         * ftp.c (getftp): Use it.
6363
6364         * retr.c (buf_discard): New function.
6365
6366         * ftp.c (ftp_response): Use buf_readchar().
6367         (getftp): Flush the control connection buffer before calling
6368         get_contents().
6369
6370         * retr.c (buf_readchar): New function.
6371         (buf_flush): New function.
6372         (get_contents): Use buf_readchar() instead of read(x, x, 1).
6373         (get_contents): Use buf_flush.
6374
6375 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
6376
6377         * ftp.c: Incorporate changes to ftp_response.
6378
6379         * ftp.c (ftp_response): Allocate the server response dynamically,
6380         as in read_whole_line and fetch_next_header.
6381
6382         * utils.c (read_whole_line): Fixed a bug that prevented reading
6383         the last line if it is not \n-terminated. Also fixed a possible
6384         memory overflow.
6385
6386         * http.c (fetch_next_header): Return malloc-ed string as large as
6387         needed.
6388         (gethttp): Use new fetch_next_header.
6389
6390 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
6391
6392         * http.c (hgetlen): Compute the header length the first time only.
6393         (hgettype): Ditto.
6394         (hgetlocation): Ditto.
6395         (hgetmodified): Ditto.
6396
6397 1996-09-11  Hrvoje Niksic  <hniksic@srce.hr>
6398
6399         * sample.geturlrc: Update.
6400
6401 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
6402
6403         * http.c (http_loop): Ditto.
6404
6405         * ftp.c (getftp): Open the output file as binary.
6406
6407         * version.c: Changed version to 1.4b18.
6408
6409 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
6410
6411         * version.c: "Released" 1.4b17.
6412
6413         * ftp-unix.c (ftp_parse_ls): If unable to open file, return NULL
6414         instead of failed assertion.
6415
6416 1996-09-09  Hrvoje Niksic  <hniksic@srce.hr>
6417
6418         * ftp.c (ftp_get_listing): Add a numbered suffix to LIST_FILENAME
6419         if a file of that name already exists.
6420
6421 1996-09-05  Hrvoje Niksic  <hniksic@srce.hr>
6422
6423         * ftp.c (ftp_1fl_loop): Handler FTPPORTERR and FOPENERR correctly.
6424
6425         * config.h.in: Define gethostbyname as Rgethostbyname when using
6426         Socks.
6427
6428         * configure.in: Check for -lresolv if using Socks.
6429
6430         * version.c: Changed version to 1.4b17.
6431
6432 1996-07-15  Hrvoje Niksic  <hniksic@srce.hr>
6433
6434         * version.c: "Released" 1.4b16.
6435
6436         * http.c (gethttp): More intelligent check for first line of HTTP
6437         response.
6438         (gethttp): Would bug out on time-stamping.
6439
6440         * version.c: Changed version to 1.4b16.
6441
6442 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
6443
6444         * version.c: Released 1.4b15.
6445
6446         * http.c (http_loop): Print \n after the loop entry, not before.
6447
6448         * url.c (url_filename): Use ISDOT.
6449
6450         * url.h (ISDOT): New macro.
6451
6452         * recur.c (recursive_retrieve): Change only opt.recursive for
6453         following FTP.
6454
6455 1996-07-11  Antonio Rosella <antonio.rosella@agip.it>
6456
6457         * socks/geturl.cgi: Fixed version No.
6458
6459         * socks/download-netscape.html: Ditto.
6460
6461         * socks/download.html: Changed socks.html to download.html.
6462
6463 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
6464
6465         * url.c (url_filename): Check for opt.dirstruct instead for
6466         opt.recursive && opt.dirstruct.
6467
6468         * init.c (defaults): Ditto.
6469         (defaults): Reset dirstruct by default.
6470         (setval): Set opt.dirstruct whenever setting recursive.
6471
6472         * init.h: Removed FORCEDIRHIER.
6473
6474         * INSTALL: Added -L to socks-description.
6475
6476         * version.c: Changed version to 1.4b15.
6477
6478 1996-07-10  Hrvoje Niksic  <hniksic@srce.hr>
6479
6480         * version.c: "Released" 1.4b14.
6481
6482         * geturl.1: Update AUTHOR to include Rosella as contributor.
6483
6484         * NEWS: Update.
6485
6486         * socks/geturl.cgi: Simplified command creation, nuked <blink>.
6487
6488         * socks/geturl.cgi: Wrap nutscape extensions within if $netscape.
6489         (cal_time): Fix == to eq.
6490
6491         * socks/geturl.cgi: GPL-ized with permission of A. Rosella.
6492
6493         * geturl.1 (hostname): Moved URL CONVENTIONS to the beginning.
6494
6495         * Makefile.in: Use @VERSION@.
6496
6497         * configure.in: Check version from version.c.
6498
6499         * socks/geturl.cgi: Changed /pub/bin/perl to /usr/bin/perl.
6500
6501         * socks/download.html: Created from download-netscape.html, made
6502         HTML-2.0 compliant.
6503
6504         * recur.c (recursive_retrieve): Set opt.force_dir_hier when
6505         following FTP links from recursions.
6506
6507 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
6508
6509         * url.c (mymkdir): Fixed a bug that prevented mymkdir() to create
6510         absolute directories correctly.
6511
6512         * version.c: Changed version to 1.4b14.
6513
6514 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
6515
6516         * version.c: "Released" 1.4b13.
6517
6518         * url.c (make_backup): New function.
6519
6520         * http.c (http_loop): Make a backup copy of the local file (using
6521         rename(2)) before opening it.
6522
6523         * main.c (main): Added --backups.
6524
6525         * host.c (ftp_getaddress): Bail out on failed mycuserid().
6526         (ftp_getaddress): Check for leading dot on MY_DOMAIN.
6527         (ftp_getaddress): Check for empty, null or (null) domain.
6528
6529         * url.c (get_urls_html): If this_url is NULL, the base must have a
6530         protocol.
6531         (parseurl): Use has_proto.
6532
6533         * retr.c (retrieve_url): Warn when proxy is used with more than 20
6534         retries.
6535
6536         * url.c (mkstruct): Create the directory (calling mymkdir()) only
6537         if it is not already there.
6538         (has_proto): New function.
6539         (get_urls_html): Eliminate the remaining call to findurl -- use
6540         has_proto.
6541
6542         * geturl.1: Ditto.
6543
6544         * main.c: Change -X to -x.
6545
6546         * url.c (url_filename): Simplify creation of filename if
6547         prefix_files is set.
6548         (url_filename): Simplify everything. And I do mean *everything*.
6549         (mkstruct): Add dir_prefix before hostname.
6550         (path_simplify): Fixed a bug that caused writing outside the path
6551         string in case of "." and ".." path strings.
6552
6553 1996-07-06  Hrvoje Niksic  <hniksic@srce.hr>
6554
6555         * init.c: Added --mirror.
6556
6557         * main.c (main): Added -X to force saving of directory hierarchy.
6558
6559         * ftp.c (ftp_retrieve_list): Added recursion depth counter.
6560         (ftp_retrieve_list): Check whether quota is exceeded.
6561
6562         * url.c (get_urls_html): Skip leading blanks for absolute URIs.
6563
6564         * http.c (gethttp): Use referer if present.
6565
6566         * recur.c (recursive_retrieve): Set u->referer before calling
6567         retrieve_url.
6568
6569         * url.c (newurl): Use memset to nullify the struct members.
6570         (freeurl): Free the referer field too.
6571
6572         * url.h: Added referer to urlinfo.
6573
6574         * geturl.1: Updated the manual to document some of the new features.
6575
6576         * utils.c (numdigit): Moved from url.c.
6577
6578         * README: Rewritten.
6579
6580         * config.h.in: Add the support for socks.
6581
6582         * configure.in: Add the support for socks.
6583
6584         * url.c (url_filename): If the dir_prefix is ".", work with just
6585         the file name.
6586         (url_filename): Do not look for .n extensions if timestamping if
6587         turned on.
6588
6589         * retr.c (show_progress): Skip the over-abundant restval data, and
6590         print the rest of it with ',' instead of '.'.
6591
6592 1996-07-05  Hrvoje Niksic  <hniksic@srce.hr>
6593
6594         * retr.c (show_progress): Changed second arg. to long (as it
6595         should be).
6596         (show_progress): Moved to retr.c.
6597         (get_contents): Moved to retr.c.
6598
6599         * version.c: Change version to 1.4b13.
6600
6601 1996-07-05  Hrvoje Lacko <hlacko@fly.cc.fer.hr>
6602
6603         * url.c (in_acclist): Would return after the first suffix.
6604
6605 1996-07-04  Hrvoje Niksic  <hniksic@srce.hr>
6606
6607         * version.c: "Released" 1.4b12.
6608
6609         * url.c (path_simplify): More kludgifications.
6610         (get_urls_html): Use new parameters for htmlfindurl.
6611
6612         * html.c: Removed memorizing "parser states", since the new
6613         organization does not require them.
6614
6615         * init.c (run_geturlrc): Use read_whole_line.
6616
6617         * ftp-unix.c (ftp_parse_ls): Use read_whole_line.
6618
6619         * recur.c (parse_robots): Use read_whole_line.
6620
6621         * utils.c (read_whole_line): New function.
6622
6623         * recur.c (tried_robots): Use add_slist/in_slist, *much* cleaner.
6624
6625         * host.c (ngethostbyname): Call inet_addr just once. Yet to be
6626         tested on OSF and Ultrix.
6627         (add_hlist): New function.
6628         (free_hlist): New function.
6629         (search_host): New function.
6630         (search_address): New function.
6631         (realhost): Use search_host, search_address and add_hlist.
6632         (same_host): Replaced realloc() with strdupdelim(), made
6633         case-insensitive, fixed a memory leak.
6634
6635         * html.c (ftp_index): Fixed tm_min and tm_sec to be tm_hour and
6636         tm_min, like intended.
6637
6638         * version.c: Change user agent information to
6639         Geturl/version.
6640
6641 1996-07-03  Hrvoje Niksic  <hniksic@srce.hr>
6642
6643         * utils.c: Renamed nmalloc.c to utils.c, .h likewise.
6644
6645         * url.c (acceptable): Always accept directories.
6646
6647         * ftp-unix.c (ftp_parse_ls): Support brain-damaged "ls -F"-loving
6648         servers by stripping trailing @ from symlinks and trailing / from
6649         directories.
6650
6651         * ftp.c (ftp_loop): Debugged the "enhanced" heuristics. :-)
6652
6653         * url.c (skip_url): Use toupper instead of UCASE.
6654
6655         * host.c (sufmatch): Made it case-insensitive.
6656
6657         * url.c (match_backwards_or_pattern): Fixed i == -1 to j == -1.
6658         (match_backwards): New function, instead of
6659         match_backwards_or_pattern.
6660
6661         * recur.c (recursive_retrieve): Increased performance by
6662         introducing inl, which reduces number of calls to in_slist to only
6663         one.
6664
6665         * ftp.c (ftp_loop): Enhanced the heuristics that decides which
6666         routine to use.
6667
6668         * main.c (printhelp): Removed the warranty stuff.
6669
6670 1996-07-02  Hrvoje Niksic  <hniksic@srce.hr>
6671
6672         * url.c (add_slist): Simplify.
6673         (match_backwards_or_pattern): New function.
6674         (in_acclist): Use match_backwards_or_pattern.
6675         (matches): Remove.
6676
6677 1996-06-30  Hrvoje Niksic  <hniksic@srce.hr>
6678
6679         * ftp.c (ftp_loop): Call ftp_index on empty file names, if not
6680         recursive.
6681
6682         * html.c (ftp_index): Fixed to work. Beautified the output.
6683
6684         * ftp.c (ftp_retrieve_glob): Another argument to control whether
6685         globbing is to be used.
6686         (ftp_retrieve_list): Compare the time-stamps of local and remote
6687         files to determine whether to download.
6688
6689 1996-06-29  Hrvoje Niksic  <hniksic@srce.hr>
6690
6691         * ftp.c (rel_constr): New function.
6692
6693         * retr.c (retrieve_from_file): Check for text/html before
6694         retrieving recursively.
6695
6696         * main.c (main): Check whether the file is HTML before going into
6697         recursive HTML retrieving.
6698
6699         * ftp.c (ftp_retrieve_list): Manage directories.
6700         (ftp_retrieve_glob): Pass all the file-types to ftp_retrieve_list.
6701         (ftp_1fl_loop): Fixed a bug that caused con->com to be incorrectly
6702         initialized, causing bugchecks in getftp to fail.
6703
6704         * configure.in: Check for symlink.
6705
6706         * ftp.c (ftp_retrieve_list): Added support for symlinks.
6707
6708         * version.c: "Released" 1.4b10.
6709
6710         * atotm.c (atotm): Redeclared as time_t.
6711
6712         * init.c: New variable "timestamping".
6713
6714         * main.c (main): New option 'N'.
6715
6716         * http.c (hgetlocation): Case-insensitive match.
6717         (hgetmodified): New function.
6718         (http_loop): Implement time-stamping.
6719
6720 1996-06-28  Hrvoje Niksic  <hniksic@srce.hr>
6721
6722         * version.c: Changed version to 1.4b10
6723
6724         * atotm.c: New file, from phttpd.
6725
6726         * options.h (struct options): New parameter timestamping.
6727
6728         * version.c: 1.4b9 "released".
6729
6730         * recur.c (recursive_retrieve): Used linked list (ulist) for
6731         faster storing of URLs.
6732
6733         * url.c (get_urls_html): Removed the old kludge with comparing the
6734         outputs of htmlfindurl and findurl.
6735         (get_urls_html): Added better protocol support here.
6736         (create_hash): Removed, as well as add_hash and in_hash.
6737         (addslist): New function.
6738         (in_slist): ditto
6739
6740         * version.c: Released 1.4b8, changed version to b9.
6741
6742 1996-06-27  Hrvoje Niksic  <hniksic@srce.hr>
6743
6744         * ftp.c (freefileinfo): New function.
6745         (delelement): New function.
6746
6747         * everywhere: GPL!
6748
6749         * ftp.c (ftp_loop): Use ccon.
6750         (ftp_retrieve_glob): Likewise.
6751
6752         * ftp.h: Define ccon, to define status of control connection.
6753
6754         * ftp.c (ftp_get_listing): New function.
6755         (ftp_retrieve_more): New function.
6756         (ftp_retrieve_glob): New function.
6757
6758 1996-06-25  Hrvoje Niksic  <hniksic@srce.hr>
6759
6760         * configure.in: Removed the search for cuserid().
6761
6762         * init.c (getmode): Renamed to getperms.
6763
6764 1996-06-24  Hrvoje Niksic  <hniksic@srce.hr>
6765
6766         * version.c: New version.
6767
6768         * main.c (hangup): New function, that handles hangup. Hangup
6769         signal now causes geturl to stop writing on stdout, and to write
6770         to a log file.
6771
6772         * ftp.c (getftp): "Released" 1.4b7.
6773
6774         * html.c (htmlfindurl): Ignore everything inside <head>...</head>.
6775         (ftp_index): Use fileinfo/urlinfo.
6776
6777         * ftp-unix.c (ftp_parse_ls): New function.
6778         (symperms): New function.
6779
6780         * ftp.c (ftp_1fl_loop): New function, to handle 1-file loops.
6781
6782         * retr.c (retrieve_url): Added FTP support.
6783
6784 1996-06-23  Hrvoje Niksic  <hniksic@srce.hr>
6785
6786         * geturl.h: Removed NOTFTP2HTML enum.
6787         Added DO_LOGIN, DO_CWD and DO_LIST. LIST_ONLY is obsolete.
6788
6789         * ftp.c (getftp): Resynched with urlinfo.
6790         (getftp): Removed HMTL-ization of index.html from getftp.
6791
6792         * version.c: 1.4b6 "released".
6793
6794         * options.h (options): New struct, to keep options in.
6795
6796         * http.c (http_loop,gethttp): Synched with proxy.
6797
6798         * retr.c (retrieve_url): Implemented proxy retrieval.
6799
6800         * main.c (main): Use retrieve_from_file.
6801
6802 1996-06-22  Hrvoje Niksic  <hniksic@srce.hr>
6803
6804         * retr.c (retrieve_from_file): New function.
6805
6806         * url.c (parseurl): Modified to return URLOK if all OK. Protocol
6807         can be found in u->proto.
6808
6809         * ftp.c (ftp_response): Fixed to accept multi-line responses as
6810         per RFC 959.
6811
6812         * recr.c (recursive_retrieve): Take newloc from retrieve_url.
6813
6814         * url.c (mymkdir): Removed the file of the same name, if one
6815         exists.
6816         (isfile): New function.
6817         (mkstruct): Fixed the '/' glitches.
6818         (path_simplify): Hacked to treat something/.. correctly.
6819
6820 1996-06-21  Hrvoje Niksic  <hniksic@srce.hr>
6821
6822         * http.c (gethttp): Close the socket after error in headers.
6823         (http_loop): HEOF no longer a fatal header.
6824
6825         * loop.c (retrieve_url): When dt is NULL, do not modify it. This
6826         simplifies the syntax of calling retrieve_url.
6827
6828         * recr.c (recursive_retrieve): Modified to use get_urls_html.
6829
6830         * url.c (get_urls_file): New function.
6831         (get_urls_html): New function.
6832
6833         * recr.c (recursive_retrieve): Patched up to conform to the
6834         standards.
6835
6836         * http.c (gethttp): Synched with the rest...
6837         (gethttp): Treat only CONREFUSED specially, with connection
6838         errors.
6839
6840         * init.c,geturl.1,http.c (http_loop): Removed kill_error.
6841
6842 1996-06-20  Hrvoje Niksic  <hniksic@srce.hr>
6843
6844         * http.c (http_loop): New function.
6845
6846         * loop.c: Removed *lots* of stuff from retrieve_url.
6847
6848         * url.c (parseurl): Changed to work with urlinfo. Integrated
6849         username finding and path parsing.
6850         (newurl): New function.
6851         (freeurl): New function.
6852         (mkstruct): Removed the old bogosities, made it urlinfo-compliant.
6853         (url_filename): Likewise.
6854         (path_simplify): Accept relative paths too.
6855         (opt_url): Made urlinfo-compliant, removed bogosities.
6856         (path_simplify): Expanded to accept relative paths.
6857         (str_url): A replacement for hide_url
6858         (decode_string): Fixed a bug that caused malfunctioning when
6859         encountering an illegal %.. combination.
6860         (opt_url): Removed the argument. Dot-optimizations are now default.
6861
6862         * nmalloc.c (strdupdelim): New function.
6863
6864         * url.h: Added the urlinfo structure
6865
6866 1996-06-19  Hrvoje Niksic  <hniksic@srce.hr>
6867
6868         * url.c (hide_url): Thrown out the protocol assertion. Do not
6869         change the URL if the protocol if not recognized.
6870         (findurl): Put continue instead of break.
6871
6872 1996-06-18  Hrvoje Niksic  <hniksic@srce.hr>
6873
6874         * sample.geturlrc: Changed the defaults to be commented out and
6875         harmless (previous defaults caused pains if copied to
6876         ~/.geturlrc).
6877
6878         * http.c (gethttp): Print the HTTP request in debug mode.
6879
6880         * connect.c (iread): Added EINTR check loop to select-ing
6881         too. EINTR is now correctly handled with select().
6882
6883         * TODO: new file
6884
6885 1996-05-07  Hrvoje Niksic  <hniksic@srce.hr>
6886
6887         * host.c (same_host): Made the function a little bit more
6888         intelligent regarding diversified URL syntaxes.
6889
6890         * url.c (skip_url): Spaces are now skipped after URL:
6891
6892         * Released 1.3.1 with the patch to prevent crashing when sending
6893         NULL to robot* functions and the patch to compile "out of the box"
6894         on AIX.
6895
6896         * recr.c (recursive_retrieve): Added checking whether this_url is
6897         NULL when calling the robot functions.
6898
6899         * ChangeLog: New file.