]> sjero.net Git - wget/blob - src/ChangeLog
56713018992a87e7f12b9febd32d7f2aec206c70
[wget] / src / ChangeLog
1 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2
3         * html-url.c (tag_handle_form): New function.  Pick up form
4         actions and mark them for conversion only.
5
6 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
7
8         * progress.c (struct progress_implementation): Use PARAMS when
9         declaring the parameters of *create, *update, *finish, and
10         *set_params.
11
12         * netrc.c: Ditto.
13
14         * http.c: Reformat some function definitions so that ansi2knr can
15         read them.
16
17         * hash.c (struct hash_table): Use the PARAMS macro around
18         parameters in the declaration of hash_function and test_function.
19         (prime_size): Spell 2580823717UL and 3355070839UL as (unsigned
20         long)0x99d43ea5 and (unsigned long)0xc7fa5177 respectively, so
21         that pre-ANSI compilers can read them.
22         (find_mapping): Use PARAMS when declaring EQUALS.
23         (hash_table_put): Ditto.
24
25         * ftp.h: Wrap the parameters of ftp_index declaration in PARAMS.
26
27         * cookies.c (cookie_new): Use (unsigned long)0 instead of 0UL,
28         which was unsupported by pre-ANSI compilers.
29
30         From Nelson H. F. Beebe <beebe@math.utah.edu>, for the most part.
31
32 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
33
34         * url.c (url_filename): Use compose_file_name regardless of
35         whether opt.dirstruct is set.
36         (mkstruct): Don't handle the query and the reencoding of DIR; that
37         is done in compose_file_name.
38
39 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
40
41         * wget.h: Ditto for extern char *exec_name.
42
43         * options.h: Don't guard against OPTIONS_DEFINED_HERE -- it is
44         perfectly legal to follow an `extern' with a non-`extern' ones,
45         provided the types match.
46
47         * main.c: Don't define OPTIONS_DEFINED_HERE.
48
49 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
50
51         * progress.c (create_image): Revert to calculating ETA based on
52         average download speed.
53         (create_image): Don't print ETA until the download has been active
54         for at least 3 seconds.
55         (create_image): When ETA is not available, don't print anything.
56         The previous version would print --:--.
57
58 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
59
60         * progress.c (bar_update): Keep updating a subinterval until it
61         reaches or exceeds a watermark.  That way the measurement will be
62         guaranteed to span a configurable minimum of time.  The current
63         default is 3s in 30 100ms intervals.
64
65 2002-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
66
67         * progress.c (bar_update): Maintain an array of the time it took
68         to perform previous 30 network reads.
69         (create_image): Calculate the download speed and ETA based on the
70         last 30 reads, not the entire download.
71         (create_image): Make sure that the ETA is not changed more than
72         once per second.
73
74 2002-04-09  Ian Abbott  <abbotti@mev.co.uk>
75
76         * mswindows.c (borland_utime): New function conditionally defined
77         when `HACK_BCC_UTIME_BUG' is defined.  A reimplementation of
78         `utime()' as Borland's `utime()' function is broken on Windows 9x
79         systems.  (Original patch by Chin-yuan Kuo <sr1111111@yahoo.com.tw>.)
80
81 2002-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
82
83         * ftp.c (ftp_loop): Propagate the result of ftp_retrieve_glob.
84
85 2002-03-26  Ian Abbott  <abbotti@mev.co.uk>
86
87         * Makefile.in: Updated several dependencies for object files.
88
89 2002-03-20  Ian Abbott  <abbotti@mev.co.uk>
90
91         * mswindows.c: Include "utils.h".
92
93 2002-03-18  Ian Abbott  <abbotti@mev.co.uk>
94
95         * host.h: Don't include netdb.h on windows.
96
97 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
98
99         * recur.c (retrieve_tree): Handle the case when start_url doesn't
100         parse.
101
102 2002-02-19  Andreas Damm  <andreas-sourceforge@radab.org>
103
104         * wget.h (DO_REALLOC_FROM_ALLOCA): Multiply with sizeof(type) when
105         calling xmalloc and memcpy.
106
107 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
108
109         * host.h: Include Unix-specific includes #ifndef WINDOWS.
110         Patch originally provided by Christian Lackas.
111
112 2002-02-11  Christian Lackas  <delta@lackas.net>
113
114         * recur.c: recurive downloading for https fixed.
115
116 2002-02-19  Alan Eldridge  <alane@geeksrus.net>
117
118         * host.h: Also include <netinet/in.h> and <sys/socket.h>.
119
120         * ftp-basic.c: Also include <netinet/in.h>.
121
122 2002-02-05  Ian Abbott  <abbotti@mev.co.uk>
123
124         * http.c (gethttp): when -c used, mark already fully retrieved
125         file as successfully retrieved.
126
127 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
128
129         * url.c (url_parse): Don't treat '?' as query string separator
130         when parsing FTP URLs.
131
132 2002-02-01  Hrvoje Niksic  <hniksic@arsdigita.com>
133
134         * html-url.c (tag_handle_meta): Don't crash on <meta
135         http-equiv=refresh> where content is missing.
136
137 2002-01-31  Herold Heiko  <Heiko.Herold@previnet.it>
138
139         * ftp-basic.c, host.c: don't include sys/socket.h, arpa/inet.h,
140         netdb.h on windows.
141
142 2002-01-30  Hrvoje Niksic  <hniksic@arsdigita.com>
143
144         * retr.c (retrieve_url): Remove redirection cycle detection.  This
145         is because some sites legitimately redirect the user back to the
146         same location, e.g. after an authorization check performed by
147         another page.  MAX_REDIRECTIONS is still used to prevent infinite
148         redirection loops.
149
150 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
151
152         * http.c (gethttp): Wrap host name in square brackets if it
153         contains a colon.
154
155 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
156
157         * url.c (url_parse): Allow all hex digits, not only decimal ones,
158         to form an IP address.
159
160 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
161
162         * url.c (urlchr_table): Make square braces reserved, so we can
163         parse http://[::1]/.
164         (url_parse): Handle host in braces.
165         (url_string): If url->host contains colons, wrap it in braces.
166
167 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
168
169         * connect.c (resolve_bind_address): New function.
170         (connect_to_one): Use it.
171         (bindport): Ditto.
172
173         * init.c: Don't resolve bind-address here.
174
175         * host.c (wget_sockaddr_set_address): Would bug out with ADDR == NULL.
176
177 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
178
179         * host.c (lookup_host): Use sizeof(ip4_address) to calculate the
180         offset.
181         (address_list_new): Use map_ipv4_to_ip.
182         (wget_sockaddr_set_address): Convert ADDR to IPv4 before using it
183         in IPv4 context.
184
185 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
186
187         * source: Integrated IPv6 support.
188         Written by Thomas Lussnig <thomas.lussnig@bewegungsmelder.de>.
189
190 2002-01-15  Ian Abbott  <abbotti@mev.co.uk>
191
192         * init.c (cmd_file): Change `\' to `/' for Windows (yes, really!)
193         (cmd_directory): New function. Like cmd_file(), but strips
194         trailing directory separators.
195         (commands): Change action for "dirprefix" from `cmd_file' to
196         `cmd_directory'.
197
198         * utils.c (make_directory): Allow intermediate `mkdir' calls to
199         fail, as not all path components that do not exist should be
200         directory components, especially under Windows.
201
202 2002-01-17  Hrvoje Niksic  <hniksic@arsdigita.com>
203
204         * netrc.c (parse_netrc): Skip leading whitespace before testing
205         whether the line is empty.  Empty lines still contain the line
206         terminator.
207
208 2002-01-15  Hrvoje Niksic  <hniksic@arsdigita.com>
209
210         * gen_sslfunc.c (ssl_iread): Call select on the file descriptor
211         only if no data is pending in SSL buffers.
212         From tony@bluetail.com.
213
214 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
215
216         * headers.c (header_get): Strip trailing whitespace from the
217         header.
218
219 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
220
221         * url.c (parse_uname): URL-decode *USER and *PASSWD.
222
223 2002-01-07  Ian Abbott <abbotti@mev.co.uk>
224
225         * url.c (uri_merge_1): Deal with "net path" relative URL (one that
226         starts with "//").
227
228 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
229
230         * http.c (gethttp): Invalidate SOCK if get_contents encountered an
231         error.
232
233 2001-12-24  Hrvoje Niksic  <hniksic@arsdigita.com>
234
235         * version.c: Wget 1.8.1 is released.
236
237 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
238
239         * version.c: Wget 1.8.1-pre3 is released.
240
241 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
242
243         * recur.c (retrieve_tree): Enqueue the canonical representation of
244         start_url, so that the test against dl_url_file_map works.
245
246 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
247
248         * log.c (logputs): Check for requested verbosity before printing
249         anything.
250
251 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
252
253         * html-url.c (tag_handle_link): Treat the "shortcut icon" link as
254         inline.
255
256 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
257
258         * recur.c (retrieve_tree): Make a copy of file obtained from
259         dl_url_file_map because the code calls xfree(file) later.
260
261 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
262
263         * recur.c (register_html): Maintain a hash table of HTML files
264         along with the list.  Disallow duplicates.
265         (retrieve_tree): Use downloaded_html_set to check whether the file
266         found in dl_url_file_map is an HTML file, and descend into it if
267         so.
268         (convert_all_links): Don't guard against duplicates in
269         downloaded_html_list, since they are no longer possible.
270
271 2001-12-18  Ian Abbott  <abbotti@mev.co.uk>
272
273         * recur.c (retrieve_tree): Pass on referring URL when retrieving
274         recursed URL.
275
276 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
277
278         * version.c: Wget 1.8.1-pre2 is released.
279
280 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
281
282         * retr.c (sleep_between_retrievals): Simplify indentation.
283
284 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
285
286         * gen_sslfunc.c (ssl_init_prng): Use random_number to get a byte
287         of "randomness" at a time.
288         (ssl_init_prng): Don't seed the PRNG; random_number will do that.
289
290         * retr.c (sleep_between_retrievals): Use it.  Make sure that the
291         random amount averages in opt.wait.
292         (sleep_between_retrievals): Don't seed the PRNG; random_number
293         will do that.
294
295         * utils.c (random_number): New function.
296
297 2001-12-14  Hrvoje Niksic  <hniksic@arsdigita.com>
298
299         * url.c (path_simplify): Move here from utils.c, and make static.
300
301 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
302
303         * init.c (wgetrc_file_name): Print correct message when loading
304         getenv("WGETRC") fails.
305
306 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
307
308         * recur.c (register_download): Don't abort when one URL references
309         two different files.
310
311 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
312
313         * http.c (gethttp): Check for conn->scheme, not u->scheme, before
314         calling ssl_iwrite.
315
316 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
317
318         * version.c: Wget 1.8.1-pre1 is released.
319
320 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
321
322         * res.c (matches): Fix broken URL in the docstring.
323
324 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
325
326         * html-url.c (tag_url_attributes): Mark <embed href=...> as
327         external.
328
329 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
330
331         * url.c (get_urls_file): Cosmetic changes.
332
333 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
334
335         * html-url.c (append_one_url): Resurrect warning when unable to
336         resolve a relative link.
337
338 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
339
340         * html-url.c (collect_tags_mapper): Break into several functions.
341         (tag_url_attributes): Collect <embed href=...>.
342
343 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
344
345         * host.c: New type ipv4_address.  Use it consistently instead of
346         `unsigned char[4]' and `unsigned char *'.
347         (pretty_print_address): Accept a `const void *', to require even
348         less casting.
349
350 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
351
352         * ftp-ls.c (ftp_parse_vms_ls): Fix obvious memory leaks.
353
354 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
355
356         * main.c (main): Initialize progress after fork_to_background, so
357         that it knows when to use dots.
358
359         * mswindows.c (ws_hangup): Call log_request_redirect_output.
360
361         * utils.c (fork_to_background): Print the PID of the child
362         process.
363
364         * log.c (log_request_redirect_output): Set a flag that output
365         redirection has been requested.  Doing anything else in a signal
366         handler is unsafe.
367         (check_redirect_output): New function: check whether redirection
368         has been requested and, if so, call redirect_output().
369         (logputs): Call check_redirect_output.
370         (logprintf): Ditto.
371         (debug_logprintf): Ditto.
372         (redirect_output): Print clearer messages.
373
374         * main.c (redirect_output_signal): Don't call
375         redirect_output_signal directly.  Instead, call
376         log_request_redirect_output.
377
378         * utils.c (memfatal): Ditto.
379
380         * progress.c (display_image): Use it.
381
382         * log.c (log_set_save_context): New function: allow the caller to
383         turn off saving log context lines.
384
385 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
386
387         * host.c (address_list_set_faulty): Uncomment a sanity check.
388
389 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
390
391         * utils.c (long_to_string): Return a pointer after where the
392         number ends.
393         (long_to_string): Rename to number_to_string.
394
395 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
396
397         * utils.c (path_simplify): Correctly handle the unlikely case that
398         b starts out as path + 1.
399
400 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
401
402         * utils.c (path_simplify): Rewrite, with better comments, and
403         without the use of strcpy to move overlapping blocks.
404
405 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
406
407         * init.c (cmd_spec_progress): Resurrect.  Check whether VAL is a
408         valid progress type before setting it.
409
410 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
411
412         * main.c (main): Remove stray debugging message.
413
414 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
415
416         * progress.c (create_image): Fix ETA padding when hours are prined.
417
418 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
419
420         * version.c: Wget 1.8 is released.
421
422 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
423
424         * url.c (reencode_string): Declare static.
425
426         * res.c (registered_specs): Declare static.
427
428         * progress.c (current_impl_locked): Declare static.
429
430         * log.c (flush_log_p): Declare static.
431         (needs_flushing): Ditto.
432
433         * http.c (digest_authentication_encode): Declare static.
434
435         * html-url.c (init_interesting): Declare static.
436
437         * host.c (host_name_addresses_map): Declare static.
438
439         * cookies.c (find_matching_chains): Declare static.
440
441         * ftp-ls.c (ftp_parse_vms_ls): Warn about the memory leak
442         indicated by lint.
443
444         * utils.c (path_simplify): Remove unused variable STUB_CHAR.
445
446         * host.c (address_list_set_faulty): Document that INDEX is
447         currently unused.
448
449         * url.c (rewrite_shorthand_url): Remove unused variable PATH.
450
451 2001-12-08  Hrvoje Niksic  <hniksic@arsdigita.com>
452
453         * version.c: Wget 1.8-pre2 is released.
454
455 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
456
457         * progress.c (progress_handle_sigwinch): Set up the signal again.
458
459         * utils.c: Include <sys/termios.h>, where Solaris defines
460         TIOCGWINSZ.
461
462         * progress.c (bar_create): Don't use the last column on the screen.
463         (create_image): Pad ETA to constant size.  Pad SIZE to nine digits
464         only until it exceeded them.
465
466 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
467
468         * version.c: Wget 1.8-pre1 is released.
469
470 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
471
472         * progress.c (progress_create): Make sure that, when the output is
473         redirected, the progress implementation gets changed to the
474         fallback one.
475         (bar_set_params): Set current_impl_locked to 1 when "force" is
476         specified.
477         (progress_create): Don't change the progress implementation if
478         current_impl_locked is non-zero.
479
480         * main.c (redirect_output_signal): Call
481         progress_schedule_redirect.
482
483         * progress.c (progress_schedule_redirect): New function.
484
485 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
486
487         * log.c (logvprintf): Restructure to allow being called multiple
488         times.
489         (logprintf): Call logvprintf in a loop.
490         (debug_logprintf): Ditto.
491
492 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
493
494         * gen_sslfunc.c (ssl_init_prng): Allow the user to disable EGD by
495         setting egd_file it to empty string.
496
497         * main.c (main): Change the option name from --sslegdsock to
498         --egd-file.
499
500 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
501
502         * gen_sslfunc.c (ssl_init_prng): Make the printed message
503         translatable.
504
505 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
506
507         * url.c (scheme_disable): New function.
508
509         * main.c (main): Call ssl_init_prng from here rather than from
510         init_ssl, so that it has a chance to disable support for https
511         before a URL has been resolved.
512
513         * gen_sslfunc.c (ssl_init_prng): Seed with rand() if all else
514         failed.
515         (ssl_init_prng): Disable support for https if seeding the PRNG
516         fails.
517
518 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
519
520         * utils.c (read_whole_line): Handle lines beginning with \0.
521
522 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
523
524         * recur.c (convert_all_links): Guard against duplicates in
525         downloaded_html_files.
526         (register_download): Don't invalidate similar-looking URLs.
527         (match_except_index): New function.
528
529 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
530
531         * utils.c (path_simplify): Document with test cases.
532
533 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
534
535         * gen_sslfunc.c: Ditto.
536
537         * rbuf.c: Include <string.h>.
538
539 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
540
541         * recur.c (retrieve_tree): Check whether the URL was already
542         downloaded before downloading it again.
543         (descend_child_p): Renamed to download_child_p.
544         (register_download): When one URL is downloaded to a file already
545         "owned" by another URL, delete all references that map any URL to
546         that file.
547         (register_delete_file): New function.
548         (retrieve_tree): Use it after deleting a file.
549
550         * url.c (url_parse): Re-canonicalize the URL also if the path is
551         empty, so that e.g. "http://www.server.com" ->
552         "http://www.server.com/".
553         (lowercase_str): Use ISUPPER instead of !ISLOWER.
554
555         * retr.c (retrieve_url): Use the canonical URL form when calling
556         register_download().
557
558 2001-12-04  Ian Abbott <abbotti@mev.co.uk>
559
560         * snprintf.c (dopr): Use `unsigned int' as the second argument to
561         va_arg when casting to `unsigned short' is intended.
562
563 2001-12-04  Herold Heiko  <Heiko.Herold@previnet.it>
564
565         * gen_sslfunc.c: on windows provide ssl crypto random 
566           initialization through RAND_screen(); could possibly
567           be not enough for strong ssl communication (see the 
568           relevant manual page from the openssl package).
569
570 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
571
572         * url.c (local_quote_string): Reenable quoting of question marks,
573         but only when `--html-extension' is used.
574
575 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
576
577         * version.c: Wget 1.8-beta3 is released.
578
579 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
580
581         * snprintf.c (dopr): Cast the result of va_arg to short int and
582         short unsigned int where these types are expected to be used.
583
584 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
585
586         * snprintf.c (dopr): Replace `short int' and `unsigned short int'
587         with `int' when using it as the second argument to `va_arg'.
588
589 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
590
591         * host.c (address_list_new_one): New function.
592         (lookup_host): Use it.
593
594 2001-12-03  Andre Majorel  <amajorel@teaser.fr>
595
596         * host.c (lookup_host): Don't initialize TMPSTORE directly because
597         it's not legal C.
598
599 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
600
601         * ftp-basic.c (ftp_port): Don't return HOSTERR if we fail getting
602         the socket data.
603
604         * ftp.c: Ditto.
605
606         * http.c: No need to declare h_errno.
607
608         * host.c: Declare h_errno.
609
610 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
611
612         * utils.c (file_merge): If BASE doesn't contain a slash, just
613         return a copy of FILE.
614
615 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
616
617         * version.c: Wget 1.8-beta2 is released.
618
619 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
620
621         * ftp.c (getftp): When PWD fails, assume "/".
622
623         * ftp-basic.c (ftp_syst): Fix indentation.
624
625 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
626
627         * url.c (get_urls_file): If opt.base_href is specified, merge each
628         URL with the base.
629
630 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
631
632         * main.c (print_help): Don't document the removed `-nh'.
633
634 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
635
636         * url.c (url_full_path): Document better.
637
638         * http.c (gethttp): Use the full path when creating digest
639         authorization.
640
641 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
642
643         * cookies.c (path_matches): Return 0 if PREFIX doesn't begin with
644         '/'.
645
646 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
647
648         * cookies.c (path_matches): FULL_PATH doesn't begin with '/', but
649         PREFIX does.
650
651 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
652
653         * cookies.c (check_domain_match): Reimplement to match Netscape's
654         "preliminary specification" for cookies.
655
656 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
657
658         * url.c (replace_attr_refresh_hack): New function.
659         (convert_links): Call replace_attr_refresh_hack for Refresh
660         links.  It will add the "TMOUT; URL=" junk before the link.
661
662         * html-url.c (collect_tags_mapper): Set ID to the ID of the
663         "content" attribute, not "http-equiv".
664         (collect_tags_mapper): Don't use OFFSET to hack the raw_* values;
665         instead, store the information that this entry belongs to a
666         "refresh" link.
667
668 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
669
670         * version.c: Wget 1.8-beta1 is released.
671
672 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
673
674         * recur.c (retrieve_tree): Allow -p retrievals to exceed maximum
675         depth by more than one.
676
677 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
678
679         * retr.c (retrieve_url): Don't allow more than 20 redirections.
680
681 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
682
683         * recur.c (retrieve_tree): Skip the non-inline entries when
684         enqueuing the children of a leaf HTML node in -p mode.
685         (descend_url_p): Ignore opt.no_parent when in -p mode and UPOS is
686         "inline".
687
688         * html-url.c (get_urls_html): Don't accept dash_p_leaf_HTML.
689         (collect_tags_mapper): When an entry is "inline", mark it as such.
690
691         * recur.c (descend_url_p): Fix test when checking for
692         acceptance/rejection rules.
693
694 2001-10-31 Daniel BODEA <dali@dali-designs.com>
695
696         * netrc.c (search_netrc): When slack_default is 0, still look for
697         an account with matching password, just not the "default account".
698         HTTP Authorization using .netrc should now work as expected.
699
700 2001-11-30  T. Bharath  <TBharath@responsenetworks.com>
701
702         * http.c (persistent_available_p): Call SHUTDOWN_SSL if
703         test_socket_open fails.
704
705 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
706
707         * progress.c (display_image): Just print one CR to reset the
708         cursor position.
709
710 2001-11-30  Christian Fraenkel  <c.fraenkel@gmx.net>
711
712         * init.c: New command `ssl_egd_sock'.
713
714         * main.c (main): New option `--sslegdsock'.
715
716         * gen_sslfunc.c (ssl_init_prng): Seed the RNG using EGD.
717
718 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
719
720         * cmpt.c (memmove): Include a simple memmove implementation.
721
722 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
723
724         * headers: Guard against header files being included twice.
725
726 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
727
728         * gen-md5.c: Use unsigned char * as the buffer argument to
729         gen_md5_update.
730
731 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
732
733         * connect.h: Declare select_fd.
734
735 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
736
737         * recur.c (descend_url_p): When resolving no_parent, compare with
738         start_url, not parent url.  Otherwise link from /a/b/ to /a/c/
739         wouldn't be followed, although the download started from /a/.
740
741 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
742
743         * config.h.ms, mswindows.h: defined HAVE_ISATTY, use _isatty for
744         MS VC; somebody with Borland compiler please check and provide
745         patch if possible;
746
747         * cmpt.c: provided a usleep emulation.
748
749 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
750
751         * host.c (address_list_new): Initialize al->faulty.
752
753 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
754
755         * http.c (http_process_range): Accept the broken output of
756         "JavaWebServer/1.1.1".
757
758 2001-11-28  Hrvoje Niksic  <hniksic@arsdigita.com>
759
760         * progress.c (dot_set_params): If PARAMS is unspecified, use
761         dot_style, if available.
762
763         * init.c: Ditto.
764
765         * main.c (main): Resurect --dot-style.
766
767         * progress.c (dot_finish): Print the quantity if we're left at the
768         beginning of a row.
769
770 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
771
772         * cmpt.c (random): Removed.
773
774         * retr.c (sleep_between_retrievals): Use the more portable rand()
775         instead of random().
776
777 2001-11-27  Ian Abbott <abbotti@mev.co.uk>
778
779         * retr.c (retrieve_from_file): Initialize `new_file' to NULL to
780         prevent seg fault.
781
782 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
783
784         * connect.c (connect_to_many): Use address_list_set_faulty to
785         prevent the faulty address from being reused.
786
787         * host.c (address_list_set_faulty): New function.
788         (address_list_get_bounds): New function, instead of
789         address_list_count.
790
791 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
792
793         * url.c (convert_links): Don't translate %d-%d.
794
795         * main.c (print_help): Remove stray HAVE_RANDOM code.
796
797 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
798
799         * ftp.c (getftp): Improve output after sending PASV.  Don't
800         attempt to "look up" the IP address we already know; call
801         connect_to_one directly.
802
803 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
804
805         * progress.c: Change the default progress implementation to "bar".
806
807 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
808
809         * progress.c (bar_create): Print two newlines.
810
811 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
812
813         * cmpt.c (random): New function, a simple-minded replacement for
814         random() on systems that don't have it.
815
816 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
817
818         * config.h.in: Put a HAVE_USLEEP stub.
819
820         * cmpt.c (usleep): Replacement implementation of usleep using
821         select.
822
823         * init.c: New option init_rate.
824
825         * main.c (main): New option --limit-rate.
826
827         * retr.c (limit_bandwidth): New function.
828         (get_contents): Call it to limit the bandwidth used when
829         downloading.
830
831         * progress.c (dot_update): Would print the wrong download speed on
832         rows other than the first one when the download was continued.
833         (dot_finish): Ditto.
834
835 2001-11-26  Ian Abbott <abbotti@mev.co.uk>
836
837         * http.c (gethttp): fix undeclared variable 'err' when compiled
838         with HAVE_SSL.
839
840 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
841
842         * progress.c: Don't allocate new timers; use the timing data
843         propagated from the caller.
844
845         * retr.c (get_contents): Allocate and use a timer.
846
847 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
848
849         * http.c (last_host_ip): Made into an address_list.
850         (invalidate_persistent): Release pc_last_host_ip.
851         (register_persistent): Use lookup_host.
852         (persistent_available_p): Check for equality of hosts using
853         address_list_match_all.  Call address_list_release.
854         (http_cleanup): New function.
855
856         * ftp.c (getftp): Use lookup_host and connect_to_many.
857
858         * http.c (gethttp): Use lookup_host and connect_to_many.
859
860         * connect.c (make_connection): Removed.
861         (connect_to_one): New function.
862         (connect_to_many): Ditto.
863         (set_connection_host_name): Ditto.
864
865         * host.c (lookup_host): New function; new return type.
866         (address_list_new): New function.
867         (address_list_count): Ditto.
868         (address_list_copy_one): Ditto.
869         (address_list_delete): Ditto.
870         (address_list_release): Ditto.
871         (pretty_print_address): Ditto.
872
873 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
874
875         * recur.c (retrieve_tree): In case of followed redirection,
876         blacklist the pre-redirection URL.
877
878 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
879
880         * recur.c (descend_redirect_p): New function.
881         (retrieve_tree): Make sure redirections are not blindly followed.
882
883 2001-11-04  Alan Eldridge  <alane@geeksrus.net>
884
885         * config.h.in: added HAVE_RANDOM.
886
887         * options.h: added random_wait to struct options.
888
889         * main.c (print_help [HAVE_RANDOM], main): added arg parsing, help
890         for --random-wait.
891
892         * retr.c (sleep_between_retrievals) [HAVE_RANDOM]: added
893         implementation of random wait times.
894
895         * init.c (commands): added "randomwait" keyword.
896
897 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
898
899         * recur.c (descend_url_p): Be more conservative with blacklisting
900         URLs.
901         (convert_all_links): Print how many files have been converted, and
902         how long it took.
903
904         * progress.c (create_image): Place the number of downloaded bytes
905         right after the progress bar.
906
907         * utils.c (suffix): Return a pointer into the string.
908
909 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
910
911         * url.c (convert_links): Handle CO_NULLIFY_BASE.
912
913         * recur.c (retrieve_tree): Ignore download-ignorable children.
914         (convert_all_links): Specify CO_NULLIFY_BASE when link_base_p.
915
916         * html-url.c (handle_link): Return the newly created urlpos.
917         (collect_tags_mapper): When dealing with BASE, store the base
918         reference and mark it as download-ignorable.
919
920 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
921
922         * url.c (convert_links): Attempt to quote '?' as "%3F" when
923         linking to local files.  Given up on the attempt, as it breaks
924         local browsing.
925
926 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
927
928         * main.c (private_initialize): Removed.
929         (main): Don't call private_initialize.
930
931         * http.c: Call lookup_host.
932
933         * host.c (host_init): Removed.
934         (add_host_to_cache): Initialize host_name_address_map here, on
935         demand.
936         (ngethostbyname): Commented out.
937
938         * connect.c (make_connection): Remove dead code; use lookup_host.
939
940         * host.c (store_hostaddress): Renamed to lookup_host and reversed
941         the args.
942         Removed host_address_name_map and host_slave_master_map.
943
944 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
945
946         * progress.c (dot_create): Align the "[ skipping ... ]" string
947         with the dots.
948
949         * retr.c (rate): Split into two functions: calc_rate and
950         retr_rate.
951
952         * progress.c (create_image): Draw a dummy progress bar even when
953         total size is unknown.
954         (display_image): Place the text cursor at the end of the "image".
955
956 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
957
958         * url.c (reencode_string): Use unsigned char, not char --
959         otherwise the hex digits come out wrong for 8-bit chars such as
960         nbsp.
961         (lowercase_str): New function.
962         (url_parse): Canonicalize u->url if needed.
963         (get_urls_file): Parse each URL, and return only the valid ones.
964         (free_urlpos): Call url_free.
965         (mkstruct): Add :port if the port is non-standard.
966         (mkstruct): Append the query string to the file name, if any.
967         (urlpath_length): Use strpbrk_or_eos.
968         (uri_merge_1): Handle the cases where LINK is an empty string,
969         where LINK consists only of query, and where LINK consists only of
970         fragment.
971         (convert_links): Count and report both kinds of conversion.
972         (downloaded_file): Use a hash table, not a list.
973         (downloaded_files_free): Free the hash table.
974
975         * retr.c (retrieve_from_file): Ditto.
976
977         * main.c (main): Call either retrieve_url or retrieve_tree
978         for each URL, not both.
979
980         * retr.c (register_all_redirections): New function.
981         (register_redirections_mapper): Ditto.
982         (retrieve_url): Register the redirections.
983         (retrieve_url): Make the string "Error parsing proxy ..." 
984         translatable.
985
986         * res.c (add_path): Strip leading slash from robots.txt paths so
987         that the path representations are "compatible".
988         (free_specs): Free each individual path, too.
989         (res_cleanup): New function.
990         (cleanup_hash_table_mapper): Ditto.
991
992         * recur.c (url_queue_new): New function.
993         (url_queue_delete): Ditto.
994         (url_enqueue): Ditto.
995         (url_dequeue): Ditto.
996         (retrieve_tree): New function, replacement for recursive_retrieve.
997         (descend_url_p): New function.
998         (register_redirection): New function.
999
1000         * progress.c (create_image): Cosmetic changes.
1001
1002         * init.c (cleanup): Do all those complex cleanups only if
1003         DEBUG_MALLOC is defined.
1004
1005         * main.c: Removed --simple-check and the corresponding
1006         simple_host_check in init.c.
1007
1008         * html-url.c (handle_link): Parse the URL here, and propagate the
1009         parsed URL to the caller, who would otherwise have to parse it
1010         again.
1011
1012         * host.c (xstrdup_lower): Moved to utils.c.
1013         (realhost): Removed.
1014         (same_host): Ditto.
1015
1016 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1017
1018         * utils.c (path_simplify): Preserver the (non-)existence of
1019         leading slash.  Return non-zero if changes were made.
1020
1021 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1022
1023         * progress.c (bar_update): Don't modify bp->total_length if it is
1024         zero.
1025
1026 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1027
1028         * retr.c (retrieve_url): When the redirection URL doesn't parse,
1029         print the correct error message rather than "UNKNOWN".
1030
1031 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1032
1033         * progress.c (bar_finish): If the timer didn't record any time
1034         since the download beginning, fake 1ms.
1035
1036 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1037
1038         * recur.c (recursive_retrieve): Fix typo.
1039
1040 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
1041
1042         * progress.c (create_image): Don't translate "%ld ".
1043
1044 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
1045
1046         * progress.c (bar_set_params): Allow the user to force the use of
1047         the bar.
1048
1049 2001-11-23  Lemble Gregory  <gregory.lemble@st.com>
1050
1051         * gen_sslfunc.c (ssl_init_prng): New function; seed the SSL RNG.
1052
1053 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
1054
1055         * progress.c: Renamed dp_* functions to dot_* for greater clarity
1056         and consistency with bar_*.
1057         (print_download_speed): Get rid of the unneeded '@' character.
1058         (create_image): Fix download rate geometry.
1059
1060         * progress.c (print_elapsed): Remove spurious space.
1061         (print_elapsed): Renamed to print_download_speed, since that's
1062         what it does.
1063
1064 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
1065
1066         * progress.c (bar_update): If the downloaded amount becomes larger
1067         than the expected amount, adjust the expected amount accordingly.
1068
1069 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
1070
1071         * utils.c (determine_screen_width): New function.
1072
1073         * main.c (main): New option `--progress=TYPE'.
1074         (main): Implement compatibility with the old option `--dot-style'.
1075
1076         * init.c: Removed cmd_spec_dotstyle -- that logic is now in
1077         dp_set_params.
1078         (cmd_spec_progress): New function.
1079
1080         * retr.c (get_contents): Use the progress_* functions instead of
1081         the old show_progress().
1082         (show_progress): Removed.
1083         (rate): Print "xxxx.xx K/s" instead of "KB/s".  Ditto for MB/s,
1084         etc.
1085
1086         * progress.c (set_progress_implementation): New function.
1087         (valid_progress_implementation_p): Ditto.
1088         (progress_create): Ditto.
1089         (progress_update): Ditto.
1090         (progress_finish): Ditto.
1091         (dp_create): Ditto.
1092         (dp_update): Ditto.
1093         (dp_finish): Ditto.
1094         (dp_set_params): Ditto.
1095         (print_elapsed): Ditto.
1096
1097 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
1098
1099         * retr.c (show_progress): Use it.
1100
1101         * log.c (log_set_flush): New function.
1102
1103 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
1104
1105         * utils.c (path_simplify): Don't remove trailing slashes.
1106
1107         * ftp.c (ftp_get_listing): Use it.
1108
1109         * utils.c (file_merge): New function.
1110
1111         * url.c (opt_url): Removed.
1112
1113         * recur.c (recursive_retrieve): Inline "opt_url" logic.
1114
1115         * main.c (main): Use xfree(), not free().
1116
1117         * url.c (rewrite_url_maybe): Renamed to rewrite_shorthand_url.
1118
1119         * ftp.c (ccon): Move `ccon' typedef here, since it's only used
1120         internally.
1121
1122         * config.h.in: Include a stub for HAVE_STRPBRK.
1123
1124         * cmpt.c (strpbrk): Include a replacement for systems without
1125         strpbrk().
1126
1127         * ftp.c: Use url_set_dir and url_set_file when modifying the URL.
1128
1129         * url.c (url_set_dir): New function.
1130         (url_set_file): Ditto.
1131
1132         * ftp-basic.c (ftp_process_type): Process FTP type here; the URL
1133         parser makes the URL "params" available, so we can do that in this
1134         function.
1135
1136         * retr.c: Ditto.
1137
1138         * ftp.c: Ditto; pass the local file information in `ccon'.
1139
1140         * http.c: Get rid of the ugly kludge that had URL being replaced
1141         with the proxy URL when proxy retrieval was requested.  Use a
1142         separate parameter to http_loop and gethttp for the proxy URL.
1143
1144         * http.c: Changed to reflect the fact that local file, proxy, and
1145         referer information are no longer stored in struct url.  The local
1146         file information is passed in `struct hstat' now.
1147
1148         * url.c: Reworked URL parsing to be more regular.  Reencode the
1149         URL using reencode_string.
1150         Removed non-URL-related information from struct url.  This
1151         includes fields `proxy', `local', and `referer'.
1152
1153 2001-11-22  Jochen Hein  <jochen@jochen.org>
1154
1155         * main.c (main): Split the copyright notice for easier
1156         translation.
1157
1158 2001-08-21  Dave Turner <dct25@hermes.cam.ac.uk>
1159
1160         * ftp-basic.c (ftp_size): New function to send non-standard SIZE
1161           command to server to request file size.
1162         * ftp.h (ftp_size): Export it.
1163         * ftp.c (getftp): Use new ftp_size function if restoring
1164           transfer of a file with unknown size.
1165
1166 2001-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
1167
1168         * url.c (parseurl): Don't depend on the now-obsolete TYPE.
1169
1170 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1171
1172         * url.c (getproxy): Handle URL shorthands.
1173
1174 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1175
1176         * main.c: Remove --wait / --waitretry backwards compatibility
1177         code.
1178         
1179 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1180
1181         * main.c (main): Use it.
1182
1183         * url.c (rewrite_url_maybe): New function.
1184
1185 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
1186
1187         * url.c: Clean up handling of URL schemes.
1188
1189 2001-05-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1190
1191         * url.c: Get rid of `protostrings'.
1192         (skip_proto): Don't use protostrings.
1193         (has_proto): Ditto.
1194
1195 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1196
1197         * Makefile.in: Conditionally compile getopt.o.
1198
1199 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1200
1201         * md5.h: Renamed to gnu-md5.h.
1202
1203         * md5.c: Renamed to gnu-md5.c.
1204
1205         * http.c: Ditto.
1206
1207         * ftp-opie.c: Use the new macros.
1208
1209         * sysdep.h: Define md5-related macros.
1210
1211         * config.h.in: Define HAVE_SOLARIS_MD5 or HAVE_BUILTIN_MD5
1212         depending on which md5 implementation is used.
1213
1214 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1215
1216         * res.c (res_register_specs): Initialize OLD and HP_OLD to appease
1217         the compiler.
1218
1219 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1220
1221         * http.c (gethttp): Print the whole response line when printing
1222         headers is requested.
1223
1224 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1225
1226         * res.c: New file.  Implement all RES-related code here.
1227
1228 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1229
1230         * version.c: Wget 1.7.1 is released.
1231
1232 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1233
1234         * headers.c (header_extract_number): Ignore trailing whitespace.
1235
1236 2001-08-24  Ian Abbott  <abbotti@mev.co.uk>
1237
1238         * html-url.c (collect_tags_mapper): Fix bug converting links
1239         with -k option for tags with multiple link attributes by
1240         handling links in the order they appear.
1241
1242 2001-08-15  Ian Abbott  <abbotti@mev.co.uk>
1243
1244         * ftp.c (ftp_loop_internal): Avoid a potential buffer overflow in
1245           the call to the 'rate' function by moving it past the error
1246           checking for the 'getftp' function return value.
1247
1248 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1249
1250         * html-parse.c (advance_declaration): Use 0x22 instead of '"' or
1251         '\"'.  Different compilers' assert macros are broken in different
1252         ways.
1253
1254 2001-09-29  Christian Fraenkel  <c.fraenkel@gmx.net>
1255
1256         * http.c (gethttp): print debug output for errors occuring during
1257         the ssl handshake.
1258
1259 2001-11-16  Chris Seawood  <cls@seawood.org>
1260
1261         * init.c: Ditto.
1262
1263         * host.c: Ditto.
1264
1265         * connect.c: Ditto.
1266
1267         * sysdep.h: Support compilation under BEOS.
1268
1269 2001-06-08  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
1270
1271         * url.c (url_equal): Fix a memory leak when parseurl returns an
1272         error on the second URL. Also, since url_equal is not used at the
1273         moment, do not compile it.
1274
1275         * url.h: Ditto for the prototype of url_equal.
1276
1277 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
1278
1279         * html-parse.c (map_html_tags): Support XML-style empty tags.
1280
1281 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1282
1283         * wget.h (DO_REALLOC_FROM_ALLOCA): Check for do_realloc_newsize in
1284         loop condition because we're no longer setting SIZEVAR here.
1285
1286 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1287
1288         * wget.h (DO_REALLOC_FROM_ALLOCA): Set SIZEVAR after the memcpy()
1289         call because it needs the old value.
1290
1291 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1292
1293         * cookies.c (ATTR_NAME_CHAR): Allow almost any character to be in
1294         an attribute name.
1295
1296 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
1297
1298         * url.c (url_filename): Make sure that slashes that sneak in to
1299         u->file via query string get protected.
1300         (file_name_protect_query_string): New function.
1301
1302 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1303
1304         * recur.c (recursive_retrieve): Also check undesirable_urls with
1305         canonicalized URL.
1306
1307 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1308
1309         * http.c (gethttp): Search `.netrc' with real host, not the proxy
1310         one.
1311
1312 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1313
1314         * sysdep.h (MAP_FAILED): Provide MAP_FAILED for systems that don't
1315         define it.
1316
1317 2001-06-09  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
1318
1319         * ftp.h: Provide correct prototype for ftp_parse_ls().
1320
1321 2001-06-04  Hrvoje Niksic  <hniksic@arsdigita.com>
1322
1323         * version.c: Wget 1.7 is released.
1324
1325 2001-06-03  Karl Eichwalder  <ke@suse.de>
1326
1327         * ftp-ls.c (ftp_parse_ls): Fix typo.
1328
1329 2001-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1330
1331         * all: Update copyright information.
1332
1333 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1334
1335         * http.c (gethttp): Indicate that the continued download failed
1336         for *this* file.
1337
1338 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1339
1340         * version.c: Wget 1.7-pre1 is released.
1341
1342 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1343
1344         * version.c: Updated version to 1.7-pre1.
1345
1346 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1347
1348         * gen_sslfunc.c: Don't include <sys/time.h> directly.
1349
1350 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1351
1352         * http.c (gethttp): Use real URL data for cookies, not the proxy
1353         stuff.
1354
1355 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1356
1357         * main.c (print_help): Document `--no-http-keep-alive'.
1358
1359         * utils.c (numdigit): Handle negative numbers *correctly*.
1360
1361         * hash.c (make_nocase_string_hash_table): Use term "nocase" rather
1362         than the confusing "unsigned".
1363
1364         * utils.c (string_set_contains): Renamed from string_set_exists.
1365
1366         * hash.c (hash_table_contains): Renamed from hash_table_exists.
1367
1368         * cookies.c: Move case-insensitive hash tables to hash.c.
1369
1370 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
1371
1372         * http.c (gethttp): Before concluding that the file is already
1373         fully retrieved, make sure that the file existed and `Range' was
1374         actually requested.
1375
1376 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
1377
1378         * cookies.c (eliminate_dups): New function.
1379         (build_cookies_request): Use it.
1380         (build_cookies_request): Set chain_store_size after reallocating
1381         all_chains.
1382         (check_domain_match): Annotated for easier future debugging.
1383         (store_cookie): In the debug message, print whether the cookie is
1384         permanent.
1385
1386 2001-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
1387
1388         * http.c (http_loop): Reset no_truncate before deciding whether to
1389         set it.
1390         (gethttp): Further clarify "-c conflicts with existing file" error
1391         message, based on input from Herold Heiko.
1392
1393 2001-05-07  Hrvoje Niksic  <hniksic@arsdigita.com>
1394
1395         * http.c (http_loop): If restval is set, set no_truncate to 1
1396         unconditionally.
1397
1398 2001-05-02  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
1399
1400         * ftp-ls.c (ftp_parse_winnt_ls): Assure months are being correctly
1401         converted. Pointed out by <Stefan.Weil@de.heidelberg.com>.
1402         (ftp_parse_vms_ls): Ditto.
1403
1404 2001-04-30  Hrvoje Niksic  <hniksic@arsdigita.com>
1405
1406         * init.c (cmd_address): Zero SIN before using it; apparently
1407         needed on *BSD.
1408
1409 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1410
1411         * ftp.c (ftp_loop_internal): Don't set NO_TRUNCATE if the file is
1412         empty.
1413
1414 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
1415
1416         * main.c (main): Make `--cookies' respect its argument.
1417
1418 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
1419
1420         * main.c (main): Removed undocumented option `--email-address'.
1421
1422         * netrc.c: Use the latest read_whole_line.
1423
1424         * init.c (defaults): Set opt.ftp_pass to "-wget@".
1425
1426         * mswindows.c (pwd_cuserid): Ditto.
1427
1428         * utils.c (pwd_cuserid): Removed.
1429
1430         * host.c (ftp_getaddress): Removed.
1431
1432 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
1433
1434         (http_loop): Allocate space for filename_plus_orig_suffix with
1435         alloca; this is more efficient and removes the need to free it
1436         before each and every return.
1437
1438 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
1439
1440         * http.c (gethttp): Return RETRUNNEEDED when the retrieval is
1441         unneeded because the file is already there and fully downloaded,
1442         and -c is specified.
1443         (http_loop): Handle RETRUNNEEDED.
1444
1445         * wget.h (uerr_t): New value RETRUNNEEDED.
1446
1447         * http.c (http_loop): Set no_truncate for files that both exist
1448         and are non-empty.
1449         (gethttp): Consider the download finished when restval >= contlen,
1450         not only when restval==contlen.
1451         (gethttp): Handle redirection before giving up due to -c.
1452         (gethttp): Clarify error message which explains that -c will not
1453         truncate the file.
1454         (gethttp): When returning CONTNOTSUPPORTED, don't forget to free
1455         the stuff that needs freeing and release the socket.
1456
1457 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1458
1459         * main.c (print_help): Wget booleans accept "off", not "no".
1460
1461 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1462
1463         * http.c (http_loop): If allow_cache is zero, always disable
1464         caching, not only when retrieving through proxy.
1465
1466         * init.c: Ditto.
1467
1468         * options.h (struct options): Rename proxy_cache to allow_cache.
1469
1470 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1471
1472         * http.c (mktime_from_utc): Improve documentation.
1473         (http_atotm): Put format strings into a separate array.
1474
1475 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
1476
1477         * safe-ctype.h: Instead of throwing #error when isalpha is
1478         defined, redefine it to something that will throw a compile-time
1479         error if actually *used*.  Do the same for the rest of the
1480         standard C macros.
1481
1482 2001-04-26  Hrvoje Niksic  <hniksic@arsdigita.com>
1483
1484         * url.c (getproxy): Ignore empty proxy vars.
1485
1486 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1487
1488         * http.c (http_loop): Would load cookies every time.
1489
1490         * cookies.c (load_cookies): Handle cookies whose values contain
1491         embedded spaces.
1492
1493 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1494
1495         * utils.c: Define each DIGITS_* in one line.
1496
1497 2001-04-25  Roger L. Beeman  <beeman@cisco.com>
1498
1499         * http.c (http_atotm): Initialize t.tm_isdst to 0.
1500         (mktime_from_utc): Prevent mktime() from having discontinuities at
1501         DST transition points.
1502
1503 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1504
1505         * html-url.c (get_urls_html): Fix documentation.
1506
1507 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1508
1509         * url.c (UNSAFE_CHAR): Reimplement using a static table.
1510         (url_init): Removed.
1511         (init_unsafe_char_table): Removed.
1512
1513 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1514
1515         * snprintf.c (dopr): Replace ISDIGIT with '0' <= ch && ch <= '9'.
1516
1517 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
1518
1519         * utils.c: Document timer functions.
1520
1521         * retr.c (rate): Use it.
1522         (rate): Print in GB/s if transfer rate exceeds 1 GB/s.
1523
1524         * utils.c (wtimer_granularity): New function.
1525
1526 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1527
1528         * retr.c (show_progress): Ditto.
1529
1530         * ftp.c (getftp): Ditto.
1531
1532         * http.c (gethttp): Use new timer functions.
1533
1534         * utils.c (wtimer_allocate): New function.
1535         (wtimer_new): Ditto.
1536         (wtimer_delete): Ditto.
1537         (wtimer_reset): Ditto.
1538         (wtimer_elapsed): Ditto.
1539
1540 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1541
1542         * utils.c (long_to_string): New, faster version.  Favors smaller
1543         numbers; much of the calculation is now done at compile-time.
1544
1545 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
1546
1547         * utils.c (numdigit): Handle negative numbers.
1548
1549 2001-04-23  Hrvoje Niksic  <hniksic@arsdigita.com>
1550
1551         * retr.c (show_progress): Print the download rate even when the
1552         percentages are not available.
1553
1554 2001-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
1555
1556         * ftp.c (getftp): Adjust expected_bytes if the length is
1557         authoritative.
1558
1559 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1560
1561         * url.c: Don't declare `construct'.
1562
1563         * hash.c (grow_hash_table): Speed up rehashing; inline storing of
1564         mappings to new locations.
1565         (hash_table_new): Make resize_threshold a field in the hash table,
1566         so we don't have to recalculate it in each hash_table_put.
1567         (grow_hash_table): Update resize_threshold.
1568         (MAX): Remove unused macro.
1569         (prime_size): Made static.
1570
1571 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
1572
1573         * retr.c (retrieve_url): Call uri_merge, not url_concat.
1574
1575         * html-url.c (collect_tags_mapper): Call uri_merge, not
1576         url_concat.
1577
1578         * url.c (mkstruct): Use encode_string instead of xstrdup followed
1579         by URL_CLEANSE.
1580         (path_simplify_with_kludge): Deleted.
1581         (contains_unsafe): Deleted.
1582         (construct): Renamed to uri_merge_1.
1583         (url_concat): Renamed to uri_merge.
1584
1585 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1586
1587         * url.c (str_url): Use encode_string instead of the unnecessary
1588         CLEANDUP.
1589         (encode_string_maybe): New function, returns input string if no
1590         encoding is needed.
1591         (encode_string): Call encode_string_maybe to do the dirty work,
1592         xstrdup if no work needed.
1593
1594 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1595
1596         * wget.h (XDIGIT_TO_xchar): Define here.
1597
1598         * url.c (decode_string): Use new name.
1599         (encode_string): Ditto.
1600
1601         * http.c (XDIGIT_TO_xchar): Rename HEXD2asc to XDIGIT_TO_xchar.
1602         (dump_hash): Use new name.
1603
1604         * wget.h: Rename ASC2HEXD and HEXD2ASC to XCHAR_TO_XDIGIT and
1605         XDIGIT_TO_XCHAR respectively.
1606
1607 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1608
1609         * init.c: Include cookies.h.
1610
1611         * cookies.h: Declare cookies_cleanup.
1612
1613         * cookies.c (check_domain_match): Remove unused variable.
1614         (save_cookies): Remove extraneous argument from debug statement.
1615
1616         * host.c (same_host): Don't call skip_url.
1617
1618         * url.c (skip_url): Removed.  Removed its calls from various
1619         functions in url.c.
1620
1621 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
1622
1623         * cookies.c (unsigned_string_hash): Use the new code in
1624         string_hash as reference.
1625
1626         * hash.c (hash_table_map): Allow deletion and change of the
1627         element processed by MAPFUN.
1628         (string_hash): Use the function from glib.
1629
1630 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1631
1632         * config.h.in: Include #undef stub.
1633
1634         * hash.c (hash_table_remove): Rewrite to actually clear deleted
1635         entries instead of just marking them as deleted.
1636
1637 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1638
1639         * hash.h: Declare hash_table_get_pair and hash_table_count.
1640
1641 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1642
1643         * cookies.c: Declare http_atotm.
1644
1645 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1646
1647         * ftp-ls.c (ftp_parse_unix_ls): Use octal constants for
1648         permissions.  A compiler that doesn't accept octal constants is
1649         seriously broken and shouldn't be used -- octal constants were
1650         present in K&R C!
1651
1652 2001-01-20  Karl Eichwalder  <ke@suse.de>
1653
1654         * Makefile.in: Provide and use DESTDIR according to the Coding
1655         Standards.
1656
1657 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
1658
1659         * ftp-ls.c (ftp_parse_vms_ls): Make seconds optional in time
1660         specification.
1661
1662 2001-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
1663
1664         * url.c (parseurl): Don't strip trailing slash when u->dir is "/"
1665         because that strips the *leading* slash, thus forcing relative
1666         FTP retrieval.
1667
1668 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
1669
1670         * ftp.c (getftp): Convert initial FTP directory from VMS to UNIX
1671         notation for VMS servers. 
1672         (ftp_retrieve_dirs): Do not prepend '/' to f->name when
1673         odir is an empty string.
1674
1675 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
1676
1677         * ftp-ls.c (ftp_parse_winnt_ls): Made the fix for AM/PM more
1678         effective. Suggested by Edward J. Sabol.
1679
1680 2001-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
1681
1682         * cookies.c (build_cookies_request): Use and sort cookies from all
1683         matching domains.
1684         (build_cookies_request): Check for duplicates before generating
1685         the `Cookies' header.
1686
1687         * main.c (main): Don't load cookies here.
1688         (main): Make loadcookies and savecookies call the correct command.
1689
1690         * http.c (http_loop): Load cookies on-demand.
1691
1692 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
1693
1694         * http.c (gethttp): Fix indentation of SSL ifdef.
1695
1696 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
1697
1698         * ftp.c (ftp_retrieve_dirs): Don't forcibly prepend "/" to u->dir;
1699         that hack is no longer necessary.
1700         (getftp): Prepend initial directory to *non*-absolute u->dir's.
1701
1702 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
1703
1704         * init.c (cmd_file): New function.
1705         (enable_tilde_expansion): New variable.
1706         (run_wgetrc): Use it.
1707         (cmd_file): Use it.
1708
1709 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
1710
1711         * init.c: Include cookie-related options.
1712
1713         * main.c (main): Include cookie-specific options.
1714         (main): Load cookies before download is finished.
1715         (main): Save cookies when done.
1716
1717         * http.c (gethttp): Process the `Set-Cookie' header.
1718         (gethttp): Include cookies in the response.
1719
1720         * cookies.c: New file.
1721
1722 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
1723
1724         * utils.c (datetime_str): New function.
1725
1726 2001-04-08  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
1727
1728         * ftp-ls.c (ftp_parse_winnt_ls): The AM/PM change did assume
1729         12:01PM == 00:01, which was obviously wrong. Taken care of this
1730         anomaly.
1731
1732         * ChangeLog: Removed an excess conflict marker. Reformatted the
1733         entry by Philipp Thomas from 2001-03-09.
1734
1735         * ftp-ls.c (ftp_parse_winnt_ls): Ensure that adjusted PM hours lay
1736         between 0 and 23. Elminate unused variable `sec'.
1737
1738 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
1739
1740         * hash.c (hash_table_count): New function.
1741
1742 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1743
1744         * utils.c (read_file): Cast MAP_FAILED to char *.  Enforced by
1745         Digital Unix cc.
1746
1747 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1748
1749         * config.h.in: Oops, do the namespace tweaks only on systems we
1750         know about.
1751
1752 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1753
1754         * hash.c: Include <string.h>.
1755
1756 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1757
1758         * config.h.in: Define "compilation environment" options that work
1759         under Linux and Solaris.  To be reviewed on other OS'es.
1760
1761 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1762
1763         * http.c (gethttp): Prepend literal newline with `\n\'.
1764
1765 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
1766
1767         * sysdep.h: Don't define VERY_LONG_FORMAT.
1768
1769         * utils.c (very_long_to_string): New function.
1770         (legible_very_long): Use it; don't use VERY_LONG_FORMAT.
1771
1772 2001-04-04  Christian Fraenkel  <christian.fraenkel@gmx.net>
1773
1774         * url.c (parse_uname): Would run past the end of the string if the
1775         username was present, but the URL did not contain a slash, e.g.
1776         http://foo:bar@myhost.
1777
1778 2001-04-03  KOJIMA Hajime  <kjm@rins.ryukoku.ac.jp>
1779
1780         * http.c (http_atotm): Use %A instead of %a to match full
1781         weekday.  (On most systems there is no difference.)
1782
1783 2001-04-03  Paul Bludov  <paul@ozero.net>
1784
1785         * mswindows.c (sleep): Use SleepEx() instead of Sleep().
1786         (ws_changetitle): Use alloca() instead of malloc() to avoid memory
1787         leak.
1788         (ws_mypath): Use GetModuleFileName instead of argv[0].
1789         (ws_startup): Use data.wVersion for comparison.
1790
1791 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
1792
1793         * http.c (http_loop): Ditto.
1794
1795         * ftp.c (ftp_loop_internal): Made the check whether to continue
1796         retrieval `-O'-friendly.
1797
1798 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
1799
1800         * netrc.c (parse_netrc): Don't trim the line endings explicitly;
1801         they will be handled as whitespace.
1802         (parse_netrc): Correctly handle lines that end with whitespace.
1803
1804 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
1805
1806         * retr.c (retrieve_url): New variable global_download_count used
1807         to identify first retrieval.
1808
1809         * ftp.c (getftp): Ditto.
1810
1811         * http.c (gethttp): Rewind opt.dfp only on first retrieval.
1812
1813 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
1814
1815         * init.c (cmd_address): Heap-allocate the address that gets stored
1816         to CLOSURE.  Old code would simply assign an address on the stack.
1817
1818 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
1819
1820         * ftp.c (ftp_get_listing): Propagate error status.
1821         (ftp_retrieve_glob): Use it.
1822         (ftp_loop): Ditto.
1823
1824 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
1825
1826         * main.c (main): Add -C to the string that is the third arg to
1827         getopt_long().
1828
1829 2001-04-01  Hrvoje Niksic  <hniksic@arsdigita.com>
1830
1831         * ftp.c (getftp): Don't start the download from scratch if `-c'
1832         was specified, but the file is already fully downloaded.
1833
1834         * http.c (gethttp): Don't truncate a pre-existing file if `-c' was
1835         specified and the server doesn't support continued download.
1836         (gethttp): Don't start the download from scratch if `-c' was
1837         specified, but the file is already fully downloaded.
1838
1839 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
1840
1841         (recursive_retrieve): Don't clear the hash tables at this point at
1842         all; it interferes with the normal operation of register_download.
1843
1844 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
1845
1846         * recur.c (recursive_retrieve): Clear the hash tables only when
1847         they are defined.
1848
1849 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
1850
1851         * http.c (gethttp): Make sure the socket is closed with
1852         CLOSE_INVALIDATE before we have drained the body.
1853
1854 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
1855
1856         * retr.c (retrieve_url): Call register_download() for downloaded
1857         files and register_html() for downloaded HTML files.
1858
1859         * recur.c (register_download): New function; register here that a
1860         file has been downloaded, rather than in recursive_retrieve().
1861         (register_html): New function; enqueue the location of HTML files
1862         here rather than in recursive_retrieve().
1863
1864 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
1865
1866         * main.c (print_help): Use multiple fputs instead of a single ugly
1867         printf().
1868         (main): Consistently assign numbers >128 to options without a
1869         corresponding character.
1870
1871 2001-03-09  Philipp Thomas  <pthomas@suse.de>
1872
1873         * safe-ctype.h: New file. Locale independent ctype.h replacement
1874         taken from libiberty.
1875
1876         * safe-ctype.c: New file. Tables for above.
1877
1878         * Makefile.in: Add safe-ctype$o to OBJS.  Add dependencies for
1879         safe-ctype$o.
1880
1881         * cmpt.c: Remove include of ctype.h. Use ISSPACE instead of
1882         isspace.
1883
1884         * ftp-basic.c: Don't include ctype.h.
1885
1886         * ftp-ls.c: Likewise.
1887
1888         * ftp.c: Likewise.
1889
1890         * headers.c: Likewise.
1891
1892         * host.c: Likewise.
1893
1894         * html-parse.c: Likewise.
1895
1896         * html-url.c: Likewise.
1897
1898         * http.c: Likewise.
1899
1900         * init.c: Likewise.
1901
1902         * main.c: Likewise. Set LC_CTYPE along with LC_MESSAGES.
1903
1904         * netrc.c: Likewise.
1905
1906         * recur.c: Likewise.
1907
1908         * retr.c: Likewise.
1909
1910         * snprintf.c: Replace ctype.h with safe-ctype.h. Use ISDIGIT
1911         instead of isdigit.
1912
1913         * sysdep.h: Remove defines of ctype macros as they aren't needed
1914         for safe-ctype-h.
1915
1916         * url.c: Don't include ctype.h.
1917
1918         * utils.c: Likewise.
1919
1920         * wget.h: Include safe-ctype.h.
1921
1922 2001-03-27  Dan Harkless  <wget@harkless.org>
1923
1924         * Makefile.in: Moved top_builddir out of "User configuration
1925         section" of top Makefile and analogous spot in this one.
1926
1927 2001-03-17  Dan Harkless  <wget@harkless.org>
1928
1929         * Makefile.in: Include @SSL_INCLUDES@ substition in INCLUDES.
1930         Define top_builddir.  Link wget with libtool so the user doesn't
1931         have to supply a bunch of custom environment variables to 
1932         correctly link with the OpenSSL shared libraries.
1933
1934 2001-03-06  Hack Kampbjorn  <hack@hackdata.com>
1935
1936         * http.c (gethttp): skip :port in host header if it is the
1937         DEFAULT_HTTPS_PORT when using SSL.
1938
1939         * url.c: move the #define of DEFAULT_HTTP_PORT, DEFAULT_FTP_PORT
1940         and DEFAULT_HTTPS_PORT to the header file so it can be use in the
1941         rest of the code. 
1942         * url.h: Ditto
1943
1944 2001-03-01  Jonas Jensen  <bones@huleboer.dk>
1945
1946         * retr.c (show_progress): Correctly calculate the number of bytes
1947         in the first line of the download that have been actually
1948         downloaded in this run.
1949
1950 2001-02-23  Dan Harkless  <wget@harkless.org>
1951
1952         * main.c (print_help): --help documentation for -N said it would
1953         re-download files if they had the _same_ timestamp on server.
1954         (print_help): -nr belongs in "FTP options" section of --help
1955         output, not "Recursive retrieval" section.  Alphabetized FTP
1956         options by long option name.
1957
1958 2001-02-16  Dan Harkless  <wget@harkless.org>
1959
1960         * init.c (commands): Hack Kampbjørn <hack@hackdata.com> discovered
1961         that "httpsproxy" had been inserted into commands[] out of
1962         alphabetical order, causing "BUG: unknown command `httpuser'".
1963
1964 2001-02-13  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
1965
1966         * ftp-ls.c (ftp_parse_ls): Added support of ST_MACOS (Unix-like
1967         listing without correct permissons).
1968
1969         * ftp.h (stype): Added ST_MACOS to identify the NetPresenz MacOS
1970         FTP server. 
1971
1972         * ftp.c (ftp_retrieve_list): New mirroring logic: A remote file
1973         shall be donwloaded only when it's newer than the local copy or
1974         when it has the same timeestamp but its size is different. ST_VMS
1975         and ST_MACOS as special cases that lie about file size. 
1976
1977         * ftp-ls.c (ftp_parse_ls): Support for ST_MACOS.
1978
1979         * Makefile.in: Removed dependency on ftpparse library due to unclear
1980         copyright issues and absence of any feedback to our queries. 
1981
1982         * ftp-ls.c: Removed dependency on ftpparse library due to unclear
1983         copyright issues and absence of any feedback to our queries.   
1984         (ftp_parse_ls): Added a warning message when remote server system
1985         does not seem to be suported by wget. 
1986         (ftp_parse_vms_ls): New function for parsing VMS ftp
1987         server listing output.
1988         (clean_line): New function responsible for removing
1989         end-of-line characters from FTP listing texts.
1990
1991         * ftp.c (getftp): Global variables pwd and host_type are now
1992         member of the ccon structure under names ccon.id and ccon.rs. 
1993
1994         * ftp.h (struct ccon): Added formed global variables from ftp.c,
1995         enum stype rs (remote system identification) and char *id (initial
1996         working directory), as suggested by Hrvoje.
1997
1998         * url.c (parse_uname): Added support for passwords containing '@'
1999         characters.
2000         (skip_uname): Ditto.
2001
2002 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2003
2004         * ftp.c (ftp_loop): Reset con.
2005
2006 2001-01-06  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2007
2008         * url.c (parse_uname): Added support for passwords containing '@'
2009         characters.
2010         (skip_uname): Ditto.
2011
2012 2001-02-11  Hack Kampbjørn  <hack@hackdata.com>
2013
2014         * url.c (parseurl): Debug-print u->ftp_type.
2015
2016 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2017
2018         * ftp.c (ftp_loop_internal): Disable padding.
2019         (getftp): Ditto.
2020
2021         * http.c (http_loop): Disable padding.
2022
2023         * retr.c (show_progress): Use it to enable padding.
2024
2025         * retr.c (rate): Optional parameter PAD for padding the rate.
2026
2027 2001-02-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2028
2029         * retr.c (show_progress): Make sure that the last output line
2030         includes progress.
2031
2032 2001-02-10  Jonas Jensen  <bones@huleboer.dk>
2033
2034         * retr.c (show_progress): Print the download rate along with the
2035         percentages.
2036         Along with Anders Thorsby <anders@thorsby.dk>.
2037
2038 2001-02-10  Tim Mooney  <mooney@dogbert.cc.ndsu.NoDak.edu>
2039
2040         * ftp.h: Rename enums `command' to `wget_ftp_command' and
2041         `fstatus' to `wget_ftp_status' because old names clash with Tru64
2042         net/if.h.
2043
2044 2001-02-08  Christian Fraenkel <christian.fraenkel@gmx.net>
2045
2046         * gen_sslfunc.c: verify_callback is now static
2047
2048         * gen_sslfunc.c (init_ssl): load certificate if specified
2049
2050         * gen_sslfunc.c (ssl_printerr): new function
2051
2052         * init.c: added new --sslcertfile and --sslcertkey switches
2053
2054         * main.c: ditto
2055
2056         * options.h: ditto
2057
2058         * http.c (gethttp): abort when init_ssl fails
2059
2060 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
2061
2062         * mswindows.h: Include <malloc.h>; it's needed for alloca().
2063
2064 2001-01-10  Dan Harkless  <wget@harkless.org>
2065
2066         * url.c (str_url): Clarified this function's comment header after
2067         Hrvoje answered my question on the list as to when hide != 1.
2068         Also Hrvoje pointed out I need to use xstrdup() on the string literal.
2069
2070 2001-01-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2071
2072         * connect.c (bindport): Declare addrlen as int.  Diagnosed by
2073         Drazen Kacar <dave@arsdigita.com>.
2074         (conaddr): Ditto.
2075
2076 2001-01-09  Dan Harkless  <wget@harkless.org>
2077
2078         * html-url.c: A bunch of fixup of `--page-requisites'-related
2079         comments to reflect Hrvoje's changes to my code when transplanting
2080         it into this new file, to fix spelling mistakes, to clarify, etc.
2081
2082         * url.c (write_backup_file): Clarified a comment.
2083         (str_url): Henrik van Ginhoven pointed out on the list that we
2084         shouldn't give away the number of characters in the password by
2085         replacing each character with a 'x'.  Use "<password>" instead.
2086
2087         * ftp.c (ftp_retrieve_dirs): The bug where recursion into FTP
2088         directories didn't work if logging in put you in a directory other
2089         than "/" is fixed now.  Removed the comment here warning of the bug.
2090
2091         * main.c (print_help): --continue's description was misleading.
2092         We don't "restart", we "resume".  Also, better to say
2093         "partially-downloaded file" rather than just "existing file".
2094
2095 2001-01-06  Dan Harkless  <wget@harkless.org>
2096
2097         * ChangeLog: The '[Not in 1.6 branch.]'s were decided not to be
2098         the best way to go about my aim.  Removed them in favor of:
2099
2100         * ChangeLog-branches/1.6_branch.ChangeLog: New file.
2101
2102 2001-01-04  Hrvoje Niksic  <hniksic@arsdigita.com>
2103
2104         * url.c (replace_attr): New function, to be used by both
2105         TO_COMPLETE and TO_RELATIVE case in convert_links.
2106         (find_fragment): New function for finding URL fragments.
2107         (replace_attr): Better handle the case where the original string
2108         is not quoted.  Use find_fragment.
2109         (convert_links): Use replace_attr().
2110
2111 2000-12-31  Dan Harkless  <wget@harkless.org>
2112
2113         * ChangeLog: Since this flat file doesn't have multiple branches,
2114         looking at the dates would make you think that things went into
2115         1.6 that actually just went into the 1.7-dev branch.  Added "[Not
2116         in 1.6 branch.]" where appropriate to clarify.
2117         
2118 2000-12-30  Dan Harkless  <wget@harkless.org>
2119
2120         * ftp.c, http.c:  Applied Hack Kampbjørn <hack@hackdata.com>'s
2121         patch to deal with h_errno not being defined in netdb.h under Cygwin.
2122
2123 2000-12-18  Csaba Raduly  <csaba.raduly@sophos.com>
2124
2125         * sysdep.h: Include <malloc.h> and <io.h> under Watcom.
2126
2127 2000-12-17  Igor Khristophorov  <igor@atdot.org>
2128
2129         * http.c (check_end): Fix test for '+' or '-'.
2130
2131 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2132
2133         * url.c (parseurl): Rename inner loop var from i to ind to avoid
2134         clash with the function top-level-declared variable i.
2135         (str_url): Likewise, rename inner-loop i to j.
2136
2137         * recur.c (parse_robots): Don't declare LEN at top of function.
2138         (robots_match): Renamed parameter FORBIDDEN to avoid hiding of
2139         global variable.
2140
2141         * main.c (main): Change erroneous use of bitwise and to logical.
2142
2143         * init.c (cmd_address): Don't heap-allocate `sin'; it can be on
2144         the stack because it will be copied to closure.
2145
2146         Thanks to Csaba Raduly's run of PC-LINT over the sources.
2147
2148 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2149
2150         * http.c (basic_authentication_encode): Use xmalloc(), not
2151         malloc().  Thanks to Csaba Raduly's run of PC-LINT over the
2152         sources.
2153
2154 2000-12-17  Csaba Raduly  <csaba.raduly@sophos.com>
2155
2156         * sysdep.h: Test for __EMX__ rather than for EMXOS2 for OS/2
2157         compilation.
2158
2159 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2160
2161         * mswindows.c: Include <errno.h>.
2162
2163         * gen_sslfunc.c: Include <errno.h>.
2164
2165         * ftp-basic.c: Don't attempt to declare errno or h_errno because
2166         they're not used.
2167
2168         * main.c: Include <errno.h> because errno is used.
2169
2170         * ftp.c: Ditto.
2171
2172         * http.c: Include <netdb.h> for h_errno.
2173
2174 2000-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2175
2176         * html-parse.c (advance_declaration): MSVC assert() chokes on
2177         '\"'.  Use '"' instead.
2178
2179 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2180
2181         * utils.c (xfree_real): Removed.
2182         (xfree_debug): Just call free().
2183
2184         * wget.h (xfree): Make it an alias for free.
2185
2186 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2187
2188         * http.c (http_loop): Furthermore, touch output_document only if
2189         it is known to be an existing regular file.
2190
2191 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
2192
2193         * ftp.c (ftp_retrieve_list): Ditto.
2194
2195         * http.c (http_loop): Touch output_document if that is used for
2196         output.
2197
2198 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2199
2200         * http.c: Include gen_sslfunc.h after including Wget's headers.
2201         (persistent_available_p): Needed coma before `int ssl'.
2202
2203 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2204
2205         * ftp.c (ftp_loop_internal): Ditto.
2206
2207         * http.c (http_loop): Use it.
2208
2209         * retr.c (sleep_between_retrievals): New function that handles the
2210         logic of opt.wait and opt.waitretry.
2211
2212 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2213
2214         * rbuf.h: Implement only a single version of RBUF_READCHAR, using
2215         rbuf_read_bufferful when the buffer is depleted.
2216
2217         * rbuf.c (rbuf_read_bufferful): New function.
2218
2219 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2220
2221         * gen_sslfunc.h: Use ansi2knr style function declarations.
2222
2223         * gen_sslfunc.c: Reformat according to the GNU coding standards.
2224         More should be done.
2225
2226         * http.c (persistent_available_p): Place the cheap SSL test nearer
2227         the top of the function.
2228         (CLOSE_FINISH, CLOSE_INVALIDATE): Define only one version of each.
2229
2230 2000-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
2231
2232         * url.c (init_unsafe_char_table): Reinstate space as an unsafe
2233         char.
2234
2235 2000-12-03  Christian Fraenkel <christian.fraenkel@gmx.net>
2236
2237         * Makefile.in: added gen_sslfunc object
2238         * config.h.in: added HAVE_SSL define
2239         * connect.c: changed select_fd from static int to int
2240         * connect.h: ditto
2241         * gen_sslfunc.h: New file
2242         * gen_sslfunc.c: ditto
2243         * http.c: added HTTPS fuctionality
2244         * retrc.c: ditto
2245         * url.c: ditto
2246         * init.c: added opt.httpsproxy
2247         * options.h: ditto
2248         * rbuf.h: added alternate rbuf struct
2249         * wget.h: added CONSSLERR
2250         * rbuf.c: ditto
2251
2252         * http.c: Added HTTPS fuctionality.
2253
2254         * retrc.c: Ditto.
2255
2256         * url.c: Ditto.
2257
2258         * init.c: Added opt.httpsproxy.
2259
2260         * options.h: Ditto.
2261
2262         * rbuf.h: Added alternate rbuf struct.
2263
2264         * wget.h: Added CONSSLERR.
2265
2266         * rbuf.c: Ditto.
2267
2268 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2269
2270         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
2271         "ignore_perms" to ignore file and directory permissions for
2272         Windows NT FTP server listings.
2273         (ftp_parse_winnt_ls): New function.
2274         (ftp_parse_ls): Parses UNIX and Windows NT listings
2275         separately. Simple heuristics for distinguishing between UNIX and
2276         MS-DOS-like FTP listing provided by Windows NT FTP service.
2277
2278 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2279
2280         * ftpparse.c, ftpparse.h: New files.
2281
2282         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
2283         only. Use ftp_parse_nonunix_ls otherwise.
2284         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
2285         exotic FTP servers.
2286
2287         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
2288         FTP servers.
2289
2290         * ftp.c: New static wariables host_type, pwd, and pwd_len. 
2291         (getftp): Support for VMS. Support for FTP servers that do not
2292         place you in the root directory after login.
2293         (ftp_retrieve_list): VMS is silent about the real file size, issue
2294         a more appropriate message.
2295         (ftp_get_listing): Pass host_type to ftp_parse_ls.
2296
2297         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
2298
2299 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2300
2301         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
2302         "ignore_perms" to ignore file and directory permissions for
2303         Windows NT FTP server listings.
2304         (ftp_parse_winnt_ls): New function.
2305         (ftp_parse_ls): Parses UNIX and Windows NT listings
2306         separately. Simple heuristics for distinguishing between UNIX
2307         and MS-DOS-like FTP listing provided by Windows NT FTP service.
2308
2309 2000-11-29  John Summerfield  <summer@OS2.ami.com.au>
2310
2311         * netrc.c (parse_netrc): Get rid of line ending.
2312
2313 2000-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
2314
2315         * ftp.c (ftp_retrieve_list): Undo typo "fix" until resolution by
2316         Dan.
2317
2318 2000-11-24  Karl Eichwalder  <ke@suse.de>
2319
2320         * main.c (print_help): Untabify.
2321
2322 2000-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
2323
2324         * utils.c (xrealloc_debug): Do the unregister/register thing only
2325         if the pointer has actually changed.
2326         (xmalloc_real): Declare `static' in DEBUG_MALLOC builds.
2327         (xfree_real): Ditto.
2328         (xrealloc_real): Ditto.
2329         (xstrdup_real): Ditto.
2330
2331 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
2332
2333         * ftp.c (getftp): ftp_getaddress() returns a malloc'ed copy of the
2334         string; no need to strdup() it.
2335         (getftp): Make pwd_len a local variable.
2336         (ftp_loop): Free PWD before returning.
2337
2338         * init.c (cleanup): Free opt.ftp_pass only if it's non-NULL.
2339
2340 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
2341
2342         * all: Use xfree() instead of free.
2343
2344         * utils.c (xfree): New function.
2345
2346 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2347
2348         * url.c (convert_links): HTML-quote the converted string.
2349
2350         * utils.c (html_quote_string): Move here from ftp-ls.c
2351         (html_quote_string): Make non-static; declare in utils.h.
2352         (html_quote_string): Convert SP to &#32;.
2353
2354 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2355
2356         * ftp.c (getftp): Reformat Jan's code according to GNU coding
2357         standards; remove (debugging?) printf's; use '\0' for the ASCII
2358         zero character.  Use alloca() instead of malloc() for
2359         inter-function temporary allocations.
2360
2361 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2362
2363         * ftpparse.c, ftpparse.h: New files.
2364
2365         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
2366         only. Use ftp_parse_nonunix_ls otherwise.
2367         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
2368         exotic FTP servers.
2369
2370         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
2371         FTP servers.
2372
2373         * ftp.c: New static wariables host_type, pwd, and pwd_len. 
2374         (getftp): Support for VMS. Support for FTP servers that do not
2375         place you in the root directory after login.
2376         (ftp_retrieve_list): VMS is silent about the real file size, issue
2377         a more appropriate message.
2378         (ftp_get_listing): Pass host_type to ftp_parse_ls.
2379
2380         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
2381
2382 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2383
2384         * hash.c (hash_table_put): Don't overwrite deleted mappings.
2385
2386 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
2387
2388         * hash.c (find_mapping): New function.
2389         (hash_table_get): Use it.
2390         (hash_table_get_pair): Ditto.
2391         (hash_table_exists): Ditto.
2392         (hash_table_remove): Ditto.
2393         (hash_table_remove): Really delete the entry if the mapping
2394         following LOCATION is empty.
2395
2396         * utils.c (string_set_add): Check whether the element has existed
2397         before.
2398
2399         * hash.c (hash_table_get_pair): New function.
2400
2401 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2402
2403         * http.c (http_process_type): Ignore trailing whitespace; use
2404         strdupdelim().
2405
2406         * recur.c (recursive_retrieve): Use the new `convert' field.
2407         (convert_all_links): Ditto.
2408         (convert_all_links): Don't respect meta_disallow_follow.
2409
2410         * html-url.c (handle_link): Fill out link_relative_p and
2411         link_complete_p.
2412
2413         * url.h (struct _urlpos): Make elements more readable.
2414
2415         * recur.c (recursive_retrieve): Call slist_prepend instead of
2416         slist_append.
2417         (convert_all_links): Call slist_nreverse before iterating through
2418         urls_html.
2419
2420         * utils.c (slist_prepend): New function.
2421         (slist_nreverse): Ditto.
2422
2423 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2424
2425         * http.c (check_end): Constify.
2426
2427 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2428
2429         * http.c (http_loop): If username and password are known, try the
2430         `Basic' authentication scheme by default.
2431
2432         * connect.h: Declare test_socket_open.
2433
2434 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2435
2436         * version.c: Bump version from 1.5.3+dev to 1.7-dev.
2437
2438 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2439
2440         * http.c (gethttp): Don't use the return value of sprintf().
2441         (gethttp): Inhibit keep-alive if opt.http_keep_alive is 0.
2442
2443 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
2444
2445         * recur.c (recursive_retrieve): Print the "so we don't load"
2446         debugging message only if we really don't load.
2447
2448         * http.c (gethttp): Inhibit keep-alive if proxy is being used.
2449         (gethttp): Don't request keep-alive if keep-alive is inhibited.
2450
2451 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2452
2453         * http.c (gethttp): Make the HTTP persistent connections more
2454         robust.
2455
2456 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2457
2458         * retr.c (get_contents): If use_expected, make sure that the
2459         appropriate amount of data is being read.
2460
2461         * http.c (gethttp): Check for both `Keep-Alive: ...' and
2462         `Connection: Keep-Alive'.
2463
2464         * wget.h (DEBUGP): Call debug_logprintf only if opt.debug is
2465         turned on.
2466
2467 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2468
2469         * http.c (connection_available_p): Use it.
2470
2471         * connect.c (test_socket_open): New function.
2472
2473         * http.c (gethttp): Support persistent connections.  Based on the
2474         ideas, and partly on code, by Sam Horrocks <sam@daemoninc.com>.
2475         (register_persistent): New function.
2476         (connection_available_p): Ditto.
2477         (invalidate_connection): Ditto.
2478
2479 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
2480
2481         * url.c (convert_links): Handle UREL2ABS case.
2482
2483         * recur.c (recursive_retrieve): Instead of the list
2484         urls_downloaded, use hash tables dl_file_url_map and
2485         dl_url_file_map.
2486         (convert_all_links): Use them to retrieve data.
2487
2488         * host.c (clean_hosts): Free the hash tables.
2489
2490         * main.c (private_initialize): Call host_init().
2491
2492         * host.c (store_hostaddress): Use a saner, hash table-based data
2493         model.
2494         (realhost): Ditto.
2495         (host_init): Initialize the hash tables.
2496
2497 2000-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
2498
2499         * utils.c (slist_append): Eviscerate NOSORT.  Hash tables are now
2500         used for what the sorted slists used to be used for.
2501         (slist_contains): Don't rely on the list being sorted.
2502         (slist_append): Simplify the code.
2503
2504         * recur.c (recursive_cleanup): Use free_string_set.
2505
2506         * utils.c (string_set_add, string_set_exists, string_set_free):
2507         New functions for easier freeing of hash tables whose keys are
2508         strdup'ed strings.
2509
2510         * recur.c (recursive_retrieve): Use the hash table functions for
2511         storing undesirable URLs.
2512
2513         * hash.c: New file.
2514
2515 2000-11-17  Hrvoje Niksic  <hniksic@arsdigita.com>
2516
2517         * main.c (private_initialize): Call url_init.
2518         (main): Call private_initialize.
2519
2520         * url.c (unsafe_char_table): New table.
2521         (UNSAFE_CHAR): Use it.
2522         (init_unsafe_char_table): New function.
2523         (url_init): New function; call init_unsafe_char_table.
2524
2525 2000-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
2526
2527         * mswindows.h: Define snprintf and vsnprintf to _snprintf and
2528         _vsnprintf respectively.
2529
2530 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
2531
2532         * config.h.in: Do the _XOPEN_SOURCE and _SVID_SOURCE things only
2533         on Linux.
2534
2535 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
2536
2537         * html-url.c (handle_link): Handle HTML fragment identifiers.
2538
2539         * recur.c (recursive_retrieve): If norobot info is respected and
2540         the file is specified not to be followed by robots, respect that.
2541
2542         * html-url.c (collect_tags_mapper): Handle <meta name=robots
2543         content=X>.  For us the important cases are where X is NONE or
2544         where X contains NOFOLLOW.
2545         (get_urls_html): Propagate that information to the caller.
2546
2547 2000-11-13  Hrvoje Niksic  <hniksic@arsdigita.com>
2548
2549         * url.c (convert_links): Unlink the file we might be reading from
2550         before writing to it.
2551         (convert_links): Use alloca instead of malloc for
2552         filename_plus_orig_suffix.
2553
2554 2000-11-12  Hrvoje Niksic  <hniksic@arsdigita.com>
2555
2556         * host.c (realhost): Add HOST to the list with quality==0 only if
2557         it wasn't already there.
2558         Based on analysis by Lu Guohan <feng@public.bjnet.edu.cn>.
2559
2560 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2561
2562         * url.c (get_urls_file): Ditto.
2563         (convert_links): Ditto.
2564
2565         * html-url.c (get_urls_html): Use read_file() instead of
2566         load_file().
2567
2568         * utils.c (read_file): New function, instead of the old
2569         load_file().
2570         (read_file_free): Ditto.
2571
2572         * url.c (findurl): Search only for the supported protocols.
2573         (convert_links): Use fwrite() when writing out a region of
2574         characters.
2575
2576 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2577
2578         * ftp-ls.c: Move html_quote_string and ftp_index here.
2579
2580         * url.c: Remove get_urls_html, since that's now in html-url.c.
2581
2582         * html-url.c: New file.
2583
2584         * html-parse.c: New file.
2585
2586 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2587
2588         * init.c (run_wgetrc): Don't bother killing off '\r' since
2589         pars_line() skips whitespace at end of line anyway.
2590         (parse_line): Oops, it didn't.  Now it does.
2591
2592         * recur.c (parse_robots): Ditto here.
2593
2594         * ftp-ls.c (ftp_parse_unix_ls): Kill off the newline character
2595         manually because read_whole_line no longer does.
2596
2597         * utils.c (read_whole_line): Rewrite to: a) use less memory
2598         (reallocates to needed size after work), b) work faster -->
2599         fgets() instead of getc, c) be more correct --> doesn't kill the
2600         newline character at the end of line.
2601
2602 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
2603
2604         * init.c (comind): Initialize MAX to array size - 1.
2605
2606 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2607
2608         * url.c (construct): Changed last_slash[-1] to *(last_slash - 1).
2609         Suggested by Edward J. Sabol.
2610
2611 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
2612
2613         * url.c (construct): Handle the case where host name is not
2614         followed by a slash.
2615
2616 2000-11-06  Hrvoje Niksic  <hniksic@arsdigita.com>
2617
2618         * init.c: commands[] need to be sorted!  ("base" wasn't.)
2619
2620 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
2621
2622         * wget.h (DO_REALLOC_FROM_ALLOCA): Use braces to disambiguate
2623         `if'.
2624
2625 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
2626
2627         * url.c (construct): Insert unneeded initialization for the
2628         compiler to shut up.
2629
2630         * config.h.in: Define _XOPEN_SOURCE to 500 to get the prototype
2631         for strptime() (*duh*).  Define _SVID_SOURCE to get S_IFLNK which
2632         otherwise gets lost when you define _XOPEN_SOURCE.
2633
2634         * utils.c (touch): Include the file name in the error message.
2635         From Debian.
2636
2637 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
2638
2639         * log.c (logvprintf): Use vsnprintf() in all cases.  If necessary,
2640         resize the buffer to fit the formated message.  That way, messages
2641         of arbitrary size may be printed.
2642         (logvprintf): Use saved_append() to optionally log the last
2643         several lines of output.
2644         (logputs): Ditto.
2645         (log_close): Adapt to new data structures.
2646         (log_dump): Ditto.
2647         (redirect_output): Print messages to stderr, not to stdout.
2648
2649         * log.c (saved_append_1): New function.  Replaces the old logging
2650         system ("log all output until 10M characters") with a new, much
2651         more reasonable one ("log last screenful of text").
2652         (saved_append): New function; call saved_append_1.
2653         (free_log_line): New function.
2654
2655 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
2656
2657         * url.c (construct): Fix comment.
2658         (find_last_char): Document.
2659
2660 2000-11-04  Hrvoje Niksic  <hniksic@arsdigita.com>
2661
2662         * snprintf.c: New file.
2663
2664 2000-11-03  Hrvoje Niksic  <hniksic@arsdigita.com>
2665
2666         * wget.h: If HAVE_STDARG_H is not defined, don't declare argument
2667         types to logprintf() and debug_logprintf().
2668
2669 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2670
2671         * ftp.c (ftp_loop_internal): Hide the password from the URL when
2672         printing non-verbose.  Problem spotted by Dariusz Mlynarczyk
2673         <darekm@bydg.lomac.com.pl>.
2674
2675 2000-11-02  Junio Hamano  <junio@twinsun.com>
2676
2677         * ftp-basic.c (ftp_login): Make comparison case-insensitive.
2678
2679 2000-11-02  Tyler Riddle  <triddle@liquidmarket.com>
2680
2681         * http.c (known_authentication_scheme_p): Recognize NTML
2682         authentication.
2683         (create_authorization_line): Treat NTML the same as `Basic'.
2684
2685 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2686
2687         * retr.c (retrieve_url): Free url before returning.
2688         (retrieve_url): Free mynewloc before returning.
2689         Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
2690
2691 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
2692
2693         * url.c (parseurl): Remove possible reading past the end of
2694         sup_protos[].  Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
2695
2696 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2697
2698         * main.c (main): In case of opt.downloaded overflowing, print
2699         <overflow> instead of a totally bogus random value.
2700
2701         * retr.c (retrieve_from_file): Ditto.
2702
2703         * recur.c (recursive_retrieve): Ditto.
2704
2705         * main.c (main): Ditto.
2706
2707         * http.c (http_loop): Ditto.
2708
2709         * ftp.c (ftp_loop_internal): Use downloaded_increase() instead of
2710         `+=', and downloaded_exceeds_quota() instead of the simple-minded
2711         check.
2712         (ftp_retrieve_list): Ditto.
2713         (ftp_retrieve_dirs): Ditto.
2714         (ftp_retrieve_glob): Ditto.
2715
2716         * retr.c (downloaded_increase): New function.  Notice overflows of
2717         opt.downloaded.
2718         (downloaded_exceeds_quota): Make sure that opt.downloaded is not
2719         used if it overflowed.
2720
2721         * options.h (struct options): New member downloaded_overflow.
2722
2723 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2724
2725         * wget.h (enum): Remove extra space after last enumeration.
2726
2727 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2728
2729         * main.c (main): Use legible_very_long() for printing
2730         opt.downloaded.
2731
2732         * utils.c (legible_1): New function that operates on strings and
2733         does the brunt of legible()'s work.
2734         (legible): Use legible_1().
2735         (legible_very_long): New function; dump the argument with
2736         sprintf(), and call legible_1().
2737
2738         * options.h (struct options): Use VERY_LONG_TYPE for
2739         opt.downloaded.
2740
2741         * sysdep.h (VERY_LONG_TYPE): Define it to have a 64-bit or greater
2742         type.
2743
2744         * config.h.in: Make sure that SIZEOF_LONG and SIZEOF_LONG_LONG get
2745         defined.  Define HAVE_LONG_LONG if long long is available.
2746
2747 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2748
2749         * utils.c (long_to_string): Update with a later, better version.
2750
2751 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2752
2753         * url.c (path_simplify_with_kludge): New function.
2754         (path_simplify_with_kludge): Disable it.  Instead...
2755         (parse_dir): ...make sure that at this point the right thing is
2756         done, i.e. that "query" part of the URL (?...) is always assigned
2757         to the file, never to the directory portion of the path.
2758
2759 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2760
2761         * retr.c (retrieve_url): Detect redirection cycles.
2762
2763 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2764
2765         * url.c (get_urls_html): Decode HTML entities using
2766         html_decode_entities.
2767
2768         * html.c (htmlfindurl): Don't count the `#' in numeric entities
2769         (&#NNN;) as an HTML fragemnt.
2770         (html_decode_entities): New function.
2771
2772 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2773
2774         * html.c (htmlfindurl): Fix recognition of # HTML fragments.
2775
2776 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
2777
2778         * url.c (construct): Rewritten for clarity.  Avoids the
2779         unnecessary copying and stack-allocation the old version
2780         performed.
2781
2782 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
2783
2784         * ftp.c (getftp): Ditto.
2785
2786         * http.c (gethttp): Rewind the stream when retrying from scratch.
2787
2788 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
2789
2790         * retr.c (retrieve_url): Use url_concat() to handle relative
2791         redirections instead of /ad hoc/ code.
2792
2793         * url.c (url_concat): New function encapsulating weird
2794         construct().
2795         (urllen_http_hack): New function.
2796         (construct): When constructing new URLs, recognize that `?' does
2797         not form part of the file name in HTTP.
2798
2799 2000-10-13  Adrian Aichner  <adrian@xemacs.org>
2800
2801         * retr.c: Add msec timing support for WINDOWS.
2802         * retr.c (reset_timer): GetSystemTime() on WINDOWS.
2803         * retr.c (elapsed_time): Calculate delta time to msec on WINDOWS.
2804
2805 2000-10-27  Dan Harkless  <wget@harkless.org>
2806
2807         * retr.c (retrieve_url): Manually applied T. Bharath
2808         <TBharath@responsenetworks.com>'s patch to get wget to grok
2809         illegal relative URL redirects.  Reformatted and re-commented it.
2810
2811 2000-10-23  Dan Harkless  <wget@harkless.org>
2812
2813         * connect.c (make_connection and bindport): Manually applied Rob
2814         Mayoff <mayoff@dqd.com>'s 1.5.3 patch to add --bind-address,
2815         changing coding style to GNU's.
2816
2817         * ftp.c (ftp_loop_internal): --delete-after wasn't implemented for
2818         files downloaded via FTP.  Per a comment, .listing files were not
2819         counted towards number of bytes and files downloaded because they're 
2820         deleted anyway.  Well, they aren't under -nr, so count them then.
2821
2822         * init.c: Manually applied Rob Mayoff's 1.5.3 patch to add
2823         --bind-address, alphabetizing, changing coding style to GNU's,
2824         commenting, and renaming cmd_ip_address() to cmd_address() to
2825         imply hostnames also okay.
2826                 
2827         * main.c (main): --delete-after didn't delete the root of the
2828         tree.  Ignore --convert-links if --delete-after was specified.
2829         Manually applied Rob Mayoff's 1.5.3 patch to add --bind-address,
2830         fixing duplicate use of added-since-1.5.3 case value.
2831         (print_help): Clarified that --delete-after deletes local files.
2832         Rob forgot to add a line for his new --bind-address option.
2833                 
2834         * options.h (struct options): Manually applied Rob Mayoff's patch
2835         to add --bind-address (bind_address structure member).
2836                 
2837         * recur.c (recursive_retrieve): Improved comment; added DEBUGP().
2838         Ignore --convert-links if --delete-after was specified.
2839                 
2840         * retr.c (retrieve_from_file): Just added a DEBUGP().
2841                 
2842 2000-10-19  Dan Harkless  <wget@harkless.org>
2843
2844         * ftp.c (ftp_loop_internal): downloaded_file() enumerators changed.
2845         (getftp): Applied Piotr Sulecki <Piotr.Sulecki@ios.krakow.pl>'s
2846         patch to work around FTP servers that incorrectly respond to the
2847         "REST" command with the remaining size rather than the total file size.
2848                 
2849         * http.c (gethttp): Improved a comment and added code to tack on
2850         ".html" to text/html files without that extension when -E specified.
2851         (http_loop): Use new downloaded_file() enumerators and deal with
2852         the case of gethttp() called xrealloc() on u->local.
2853
2854         * init.c (commands): Added new "htmlextension" command.
2855         Also renamed John Daily's cmd_quad() to the more descriptive
2856         cmd_lockable_boolean(), alpha-sorted the CMD_DECLARE()s and
2857         removed duplicate cmd_boolean() declaration.
2858
2859         * main.c (print_help): Added my new -E / --html-extension option.
2860         (main): Undocumented --email-address option previously used -E synonym.
2861         Stole it away for the much more deserving --html-extension's use.
2862
2863         * options.h (struct options): Added html_extension field.
2864
2865         * url.c (convert_links): URL X that we saved as X.html locally due
2866         to -E needs to be backed up as X.orig, not X.html.orig.  Added comments.
2867         (downloaded_file): Now remembers if we added .html extension to a file.
2868
2869         * url.h (downloaded_file_t): Added extra enumerators to support above.
2870         (downloaded_file): Now takes and returns a downloaded_file_t.
2871
2872         * wget.h (unnamed "dt" enum): Added ADDED_HTML_EXTENSION enumerator.
2873         
2874 2000-10-09  Dan Harkless  <wget@harkless.org>
2875
2876         * html.c (htmlfindurl): Added unneeded initialization to quiet warning.
2877                 
2878         * main.c (print_help): Clarified what --retr-symlinks does.
2879         
2880 2000-09-15  John Daily  <jdaily@cyberdude.com>
2881
2882         * init.c: Add support for "always" and "never" values to allow
2883         .wgetrc to override commandline (useful e.g. with .pm files
2884         calling `wget --passive-ftp' when your firewall doesn't allow that).
2885
2886         * ftp.c (getftp): passive_ftp is first option to support always/never.
2887
2888 2000-08-30  Dan Harkless  <wget@harkless.org>
2889
2890         * ftp.c (ftp_retrieve_list): Use new INFINITE_RECURSION #define.
2891         
2892         * html.c: htmlfindurl() now takes final `dash_p_leaf_HTML' parameter.
2893         Wrapped some > 80-column lines.  When -p is specified and we're at a 
2894         leaf node, do not traverse <A>, <AREA>, or <LINK> tags other than 
2895         <LINK REL="stylesheet">.
2896         
2897         * html.h (htmlfindurl): Now takes final `dash_p_leaf_HTML' parameter.
2898         
2899         * init.c: Added new -p / --page-requisites / page_requisites option.
2900
2901         * main.c (print_help): Clarified that -l inf and -l 0 both allow
2902         infinite recursion.  Changed the unhelpful --mirrior description
2903         to simply give the options it's equivalent to.  Added new -p option.
2904         (main): Added some comments; handle new -p / --page-requisites.
2905         
2906         * options.h (struct options): Added new page_requisites field.
2907
2908         * recur.c: Changed "URL-s" to "URLs" and "HTML-s" to "HTMLs".
2909         Calculate and pass down new `dash_p_leaf_HTML' parameter to
2910         get_urls_html().  Use new INFINITE_RECURSION #define.
2911
2912         * retr.c: Changed "URL-s" to "URLs".  get_urls_html() now takes
2913         final `dash_p_leaf_HTML' parameter.
2914
2915         * url.c: get_urls_html() and htmlfindurl() now take final
2916         `dash_p_leaf_HTML' parameter.
2917
2918         * url.h (get_urls_html): Now takes final `dash_p_leaf_HTML' parameter.
2919
2920         * wget.h: Added some comments and new INFINITE_RECURSION #define.
2921         
2922 2000-08-23  Dan Harkless  <wget@harkless.org>
2923
2924         * main.c (print_help): -B / --base was not mentioned.
2925
2926 2000-08-22  Dan Harkless  <wget@harkless.org>
2927
2928         * main.c (print_help): Modified -nc description to mention that it
2929         also prevents the creation of multiple versions of the same file
2930         with ".<number>" suffixes.
2931
2932 2000-07-14  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
2933
2934         * retr.c (retrieve_url): Consistently strdup opt.referer when
2935         setting u->referer.
2936
2937 2000-06-09  Dan Harkless  <wget@harkless.org>
2938
2939         * main.c (print_help): --help output for --waitretry was over 80 cols.
2940
2941 2000-06-09  Hrvoje Niksic  <hniksic@iskon.hr>
2942
2943         * url.c (encode_string): Fix comment.
2944         Suggested by Herold Heiko <Heiko.Herold@previnet.it>.
2945
2946 2000-06-01  Const Kaplinsky  <const@ce.cctpu.edu.ru>
2947
2948         * ftp.c (ftp_retrieve_list): Change permissions only on plain
2949         files.
2950
2951 2000-06-01  Hrvoje Niksic  <hniksic@iskon.hr>
2952
2953         * url.c (str_url): Print the port number only if it's different
2954         from the default port number for that protocol.
2955
2956 2000-05-22  Dan Harkless  <wget@harkless.org>
2957
2958         * main.c (print_help): Added --help line for Damir Dzeko
2959         <ddzeko@zesoi.fer.hr>'s until-now-undocumented --referer option.
2960         Removed comments that --referer and --waitretry were undocumented.
2961         Changed "`.wgetrc' command" to "`.wgetrc'-style command" on --help
2962         line for --execute.
2963
2964 2000-05-18  Hrvoje Niksic  <hniksic@iskon.hr>
2965
2966         * ftp.c (getftp): Ditto.
2967
2968         * http.c (gethttp): Check for return value of fclose/fflush.
2969
2970 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
2971
2972         * host.c (store_hostaddress): Instead of shifting ADDR, start
2973         copying from the correct address.
2974
2975 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
2976
2977         * http.c (gethttp): Don't free REQUEST -- it was allocated with
2978         alloca().
2979         Pointed out by Gisle Vanem <gvanem@eunet.no>.
2980
2981 2000-04-04  Dan Harkless  <wget@harkless.org>
2982
2983         * host.c (store_hostaddress): R. K. Owen's patch introduces a
2984         "left shift count >= width of type" warning on 32-bit
2985         architectures.  Got rid of it by tricking the compiler w/ a variable.
2986         
2987         * url.c (UNSAFE_CHAR): The macro didn't include all the illegal
2988         characters per RFC1738, namely everything above '~'.  It also
2989         generated a warning on OSes where char =~ unsigned char.  Fixed.
2990         
2991 1998-10-17  Hrvoje Niksic  <hniksic@srce.hr>
2992
2993         * http.c (http_process_type): Removed needless strdup(), a memory
2994         leak.
2995
2996 1998-09-25  Hrvoje Niksic  <hniksic@srce.hr>
2997
2998         * html.c (htmlfindurl): Set PH to the first occurrence of `#'.
2999
3000 1998-09-25  Simon Munton  <simonm@m4data.co.uk>
3001
3002         * init.c (wgetrc_file_name): Don't free HOME under Windows.
3003
3004 1998-12-01  "R. K. Owen"  <rkowen@Nersc.GOV>
3005
3006         * host.c (store_hostaddress): Fix for big endian 64-bit machines.
3007
3008 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
3009
3010         * url.c (UNSAFE_CHAR): New macro.
3011         (contains_unsafe): Use it.
3012         (encode_string): Ditto.
3013
3014 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
3015
3016         * main.c (i18n_initialize): Use LC_MESSAGES only if available.
3017
3018 2000-03-31  Hrvoje Niksic  <hniksic@srce.hr>
3019
3020         * Use TOUPPER/TOLOWER.
3021
3022 1998-12-22  Alexander V. Lukyanov  <lav@yars.free.net>
3023
3024         * ftp-opie.c (btoe): Zero-terminate OSTORE.
3025
3026 2000-03-21  Hrvoje Niksic  <hniksic@iskon.hr>
3027
3028         * wget.h (DO_REALLOC_FROM_ALLOCA): Ditto.
3029
3030         * sysdep.h (ISALNUM): New macro.
3031         (TOLOWER): Ditto.
3032         (TOUPPER): Ditto.
3033
3034 2000-03-10  Dan Harkless  <wget@harkless.org>
3035
3036         * html.c (idmatch): Implemented checking of my new --follow-tags
3037         and --ignore-tags options.
3038         
3039         * init.c (commands): Added comment reminding people adding new
3040         entries doing allocation to add corresponding freeing in cleanup().
3041         (commands): Added new followtags and ignoretags commands.
3042         (cleanup): Free storage for new followtags and ignoretags.
3043         
3044         * main.c: Use of "comma-separated list" was random -- normalized
3045         it.  Did some alphabetization.  Added comments pointing out
3046         "Options without arguments" and "Options accepting an argument"
3047         sections of long_options[].  Added new options --follow-tags and
3048         -G / --ignore-tags.  Added comment that Damir's --referer is
3049         currently undocumented.  Added comment that Heiko's --waitretry is
3050         partially undocumented (mentioned in --help but not in
3051         wget.texi).  Moved improperly sorted 24, 129, and 'G' cases.
3052         
3053         * options.h (struct options): Added new fields follow_tags and
3054         ignore_tags. 
3055         
3056         * wget.h: Added "#define EQ 0" so we can say "strcmp(a, b) == EQ".
3057         
3058 2000-03-02  Dan Harkless  <wget@harkless.org>
3059
3060         * ftp.c (ftp_loop_internal): Heiko introduced "suggest explicit
3061         braces to avoid ambiguous `else'" warnings.  Eliminated them.
3062         
3063         * http.c (gethttp): Dan Berger's query string patch is totally
3064         bogus.  If you have two different URLs, gen_page.cgi?page1 and
3065         get_page.cgi?page2, they'll both be saved as get_page.cgi and the
3066         second will overwrite the first.  Also, parameters to implicit
3067         CGIs, like "http://www.host.com/db/?2000-03-02" cause the URLs to
3068         be printed with trailing garbage characters, and could seg fault.
3069         Backing out the patch, which Dan B. informed me by email was just
3070         a kludge to download StarOffice from Sun made necessary due to
3071         wget's unconditional escaping of certain characters (room for an
3072         option there?).
3073         (http_loop): Heiko introduced "suggest explicit braces to avoid
3074         ambiguous `else'" warnings.  Eliminated them.
3075         
3076         * main.c: Heiko's --wait / --waitretry backwards compatibility
3077         code looks to have been totally untested -- automatic variable
3078         'wr' was used without being initialized, and a long int was passed
3079         into setval()'s char* val parameter.
3080         
3081         * recur.c (parse_robots): Applied Edward J. Sabol
3082         <sabol@alderaan.gsfc.nasa.gov>'s patch for Guan Yang's reported
3083         problem with "User-agent:<space>*<space>" lines in robots.txt.
3084         
3085         * url.c (parseurl, str_url): Removing Dan Berger's code (see
3086         http.c above for explanation).
3087         
3088 1999-08-25  Heiko Herold  <Heiko.Herold@previnet.it>
3089
3090         * ftp.c: Respect new option waitretry.
3091
3092 2000-01-30  Damir Dzeko  <ddzeko@zesoi.fer.hr>
3093
3094         * http.c (gethttp): Send custom Referer, if required.
3095
3096 1999-09-24  Charles G Waldman  <cgw@fnal.gov>
3097
3098         * netrc.c (parse_netrc): Allow passwords to contain spaces.
3099
3100         * netrc.c (parse_netrc): New function.
3101
3102 1999-09-17  Dan Berger  <dberger@ix.netcom.com>
3103
3104         * http.c (gethttp): Send it.
3105
3106         * url.c (parseurl): Detect query string in HTTP URL-s.
3107         (str_url): Print it.
3108
3109 2000-03-02  HIROSE Masaaki  <hirose31@t3.rim.or.jp>
3110
3111         * html.c (html_allow): Add <link href=...> and <script src=...>.
3112
3113 1999-05-02  andrew deryabin  <djsf@softhome.net>
3114
3115         * http.c (gethttp): Specify port in `Host' header only if it's
3116         different from 80.
3117
3118 1998-11-03  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
3119
3120         * recur.c (recursive_retrieve): If a finite maximum depth is
3121         specified, and we're are already at that depth, don't download the
3122         HTML file for parsing.
3123
3124 2000-03-01  Dan Harkless  <wget@harkless.org>
3125
3126         * ftp.c (ftp_loop_internal): Call new downloaded_file() function,
3127         even though we don't do conversion on HTML files retrieved via
3128         FTP, so _current_ usage of downloaded_file() makes this call unneeded. 
3129         (ftp_retrieve_list): Added a comment saying where we need to
3130         stat() a .orig file if FTP'd HTML file conversion is ever implemented.
3131         (ftp_retrieve_list): "Local file '%s' is more recent," is sometimes
3132         a lie -- reworded as "Server file no newer than local file '%s' --".
3133         
3134         * http.c (http_loop): Fixed a typo and clarified a comment.
3135         (http_loop): When -K and -N are specified together, compare size
3136         and timestamp of server file X against local file X.orig (if
3137         extant) rather than converted local file X.
3138         (http_loop): "Local file '%s' is more recent," is sometimes a lie
3139         -- reworded as "Server file no newer than local file '%s' --".
3140         (http_loop): Call new downloaded_file() function to prevent
3141         wrongful overwriting of .orig file when -N is specified.
3142         
3143         * url.c (convert_links): When -K specified, only rename X to
3144         X.orig if downloaded_file() returns TRUE.  Otherwise when we skip
3145         file X due to -N, we clobber an X.orig from a previous invocation.
3146         (convert_links): Call the failsafe xstrdup(), not the real strdup().
3147         (convert_links): Added a note asking anyone who understands how
3148         multiple URLs can correspond to a single file to comment it.
3149         (downloaded_file): Added this new function.
3150         
3151         * url.h (downloaded_file): Added prototype for this new function
3152         as well as its downloaded_file_t enum type.
3153
3154         * wget.h (boolean): Added this new typedef and TRUE and FALSE #defines.
3155
3156 2000-02-29  Dan Harkless  <wget@harkless.org>
3157
3158         * version.c: Upped version to developer-only "1.5.3+dev".
3159
3160 2000-02-18  Dan Harkless  <wget@harkless.org>
3161
3162         * init.c (backup_converted): Added this new option.
3163
3164         * main.c (-K / --backup-converted): Added this new option.
3165
3166         * options.h (backup_converted): Added this new option.
3167
3168         * url.c (convert_links): When backup_converted is specified, save
3169         file X as X.orig before converting.
3170
3171         * url.h (urlpos): Fixed typo -- said "Rekative" instead of "Relative".
3172
3173 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
3174
3175         * version.c: Wget 1.5.3 is released.
3176
3177 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
3178
3179         * host.c (ftp_getaddress): Don't warn when reverse-lookup of local 
3180         address doesn't yield FQDN.
3181
3182 1998-09-21  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
3183
3184         * cmpt.c (strerror): Fix declaration of sys_errlist.
3185
3186 1998-09-11  Hrvoje Niksic  <hniksic@srce.hr>
3187
3188         * main.c (main): Don't use an array subscript as the first
3189         argument to STRDUP_ALLOCA.
3190         From Kaveh R. Ghazi.
3191
3192 1998-09-11  Szakacsits Szabolcs  <szaka@sienet.hu>
3193
3194         * html.c (htmlfindurl): Download table background.
3195
3196 1998-09-11  Hans Grobler  <grobh@conde.ee.sun.ac.za>
3197
3198         * init.c (parse_line): Would free *com before allocating it.
3199         (parse_line): Would free com instead of *com.
3200
3201 1998-09-10  Howard Gayle  <howard@fjst.com>
3202
3203         * url.c (get_urls_html): Would drop the last character of the
3204         link.
3205
3206 1998-09-10  Hrvoje Niksic  <hniksic@srce.hr>
3207
3208         * http.c (http_loop): Don't print status code if quiet.
3209
3210 1998-09-10  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
3211
3212         * log.c: Use <stdarg.h> only when __STDC__.
3213
3214 1998-09-10  Adam D. Moss  <adam@foxbox.org>
3215
3216         * html.c (htmlfindurl): Download <layer src=...>.
3217
3218 1998-09-10  Howard Gayle  <howard@fjst.com>
3219
3220         * ftp.c (ftp_retrieve_list): Don't update the time stamp of a file 
3221         not retrieved.
3222
3223 1998-06-27  Hrvoje Niksic  <hniksic@srce.hr>
3224
3225         * utils.c: Include <libc.h> on NeXT.
3226
3227 1998-06-26  Heinz Salzmann  <heinz.salzmann@intermetall.de>
3228
3229         * url.c (get_urls_html): Fix calculation of URL position.
3230
3231 1998-06-23  Hrvoje Niksic  <hniksic@srce.hr>
3232
3233         * version.c: Wget 1.5.2 is released.
3234
3235 1998-06-23  Dave Love  <d.love@dl.ac.uk>
3236
3237         * ftp.c, init.c, netrc.c: Include errno.h.
3238
3239         * http.c: Include errno.h and time header.
3240
3241         * Makefile.in (exext): Define.
3242         (install.bin, uninstall.bin): Use it.
3243
3244 1998-06-21  Hrvoje Niksic  <hniksic@srce.hr>
3245
3246         * http.c (http_loop): Don't attempt to compare local and remote
3247         sizes if the remote size is unknown.
3248
3249 1998-06-16  Hrvoje Niksic  <hniksic@srce.hr>
3250
3251         * url.c (get_urls_html): Use malloc() instead of alloca in the
3252         loop.
3253
3254 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
3255
3256         * version.c: Wget 1.5.2-b4 is released.
3257
3258 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
3259
3260         * url.c (get_urls_html): Ignore spaces before and after the URI.
3261
3262 1998-06-08  Wanderlei Antonio Cavassin  <cavassin@conectiva.com.br>
3263
3264         * ftp.c (getftp): Translate `done'.
3265
3266 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
3267
3268         * version.c: Wget 1.5.2-b3 is released.
3269
3270 1998-06-06  Alexander Kourakos  <awk@bnt.com>
3271
3272         * init.c (cleanup): Close dfp, don't free it.
3273
3274 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
3275
3276         * utils.c (make_directory): Twiddle.
3277
3278         * config.h.in: Added template for access().
3279
3280 1998-06-05  Mathieu Guillaume  <mat@cythere.com>
3281
3282         * html.c (htmlfindurl): Download <input src=...>
3283
3284 1998-06-03  Hrvoje Niksic  <hniksic@srce.hr>
3285
3286         * utils.c (file_exists_p): Use access() with two arguments.
3287
3288 1998-05-27  Martin Kraemer  <Martin.Kraemer@mch.sni.de>
3289
3290         * netrc.c (parse_netrc): Correct logic.
3291
3292 1998-05-27  Hrvoje Niksic  <hniksic@srce.hr>
3293
3294         * ftp.c (getftp): Added `break'; suggested by Lin Zhe Min
3295         <ljm@ljm.wownet.net>.
3296
3297 1998-05-24  Hrvoje Niksic  <hniksic@srce.hr>
3298
3299         * version.c: Wget 1.5.2-b2 is released.
3300
3301 1998-05-18  Juan Jose Rodriguez  <jcnsoft@jal1.telmex.net.mx>
3302
3303         * mswindows.h: Don't translate mkdir to _mkdir under Borland.
3304
3305 1998-05-17  Hrvoje Niksic  <hniksic@srce.hr>
3306
3307         * retr.c (elapsed_time): Return correct value when
3308         HAVE_GETTIMEOFDAY is undefined.
3309
3310 1998-05-13  Hrvoje Niksic  <hniksic@srce.hr>
3311
3312         * version.c: Wget 1.5.2-b1 is released.
3313
3314 1998-05-08  Hrvoje Niksic  <hniksic@srce.hr>
3315
3316         * getopt.c (_getopt_internal): Use exec_name instead of argv[0].
3317         (_getopt_internal): Don't translate `#if 0'-ed strings.
3318
3319 1998-05-06  Douglas E. Wegscheid  <wegscd@whirlpool.com>
3320
3321         * mswindows.c (ws_handler): Use fork_to_background().
3322
3323 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
3324
3325         * version.c: Wget 1.5.1 is released.
3326
3327 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
3328
3329         * http.c (parse_http_status_line): Avoid `minor' and `major'
3330         names.
3331
3332 1998-05-02  Hrvoje Niksic  <hniksic@srce.hr>
3333
3334         * utils.c (mkdirhier): Renamed to make_directory.
3335
3336 1998-05-01  Hrvoje Niksic  <hniksic@srce.hr>
3337
3338         * mswindows.c (fork_to_background): Define under Windows.
3339
3340         * utils.c (fork_to_background): New function.
3341
3342         * html.c (htmlfindurl): Removed rerdundant casts.
3343
3344 1998-05-01  Douglas E. Wegscheid  <wegscd@whirlpool.com>
3345
3346         * mswindows.c (ws_mypath): Cache the path.
3347
3348 1998-04-30  Douglas E. Wegscheid  <wegscd@whirlpool.com>
3349
3350         * ftp.h: Prefix enum ftype members with FT_.
3351
3352         * ftp-ls.c, ftp.c, html.h: Adjust accordingly.
3353
3354         * mswindows.h: Use stat under Borland, _stat under MSVC.
3355
3356 1998-04-28  Hrvoje Niksic  <hniksic@srce.hr>
3357
3358         * http.c (known_authentication_scheme_p): New function.
3359         (gethttp): Handle authorization more correctly.
3360
3361         * ftp-basic.h: Removed.
3362
3363         * cmpt.h: Removed.
3364
3365         * utils.c: Include <unistd.h> before <pwd.h>; needed under SunOS
3366         with gcc 2.8.
3367         (numdigit): Use `while' loop.
3368
3369         * http.c (create_authorization_line): Detect authentication
3370         schemes case-insensitively.
3371
3372         * http.c (extract_header_attr): Use strdupdelim().
3373         (digest_authentication_encode): Move declaration of local
3374         variables to smaller scope.
3375         (digest_authentication_encode): Reset REALM, OPAQUE and NONCE.
3376         (create_authorization_line): Detect authentication schemes
3377         case-insensitively.
3378
3379         * utils.c (touch): Constify.
3380
3381         * http.c (gethttp): Report a nicer error when no data is received.
3382
3383         * rbuf.h (RBUF_READCHAR): Ditto.
3384
3385         * ftp-basic.c (ftp_response): Use sizeof.
3386
3387 1998-04-27  Hrvoje Niksic  <hniksic@srce.hr>
3388
3389         * retr.c (print_percentage): EXPECTED is long, not int.
3390         (print_percentage): Use floating-point arithmetic to avoid
3391         overflow with large files' sizes multiplied with 100.
3392
3393 1998-04-27  Gregor Hoffleit  <flight@mathi.uni-heidelberg.de>
3394
3395         * config.h.in: Added pid_t stub.
3396
3397         * sysdep.h (S_ISREG): Moved here from mswindows.h (NeXT doesn't
3398         define it).
3399
3400 1998-04-20  Hrvoje Niksic  <hniksic@srce.hr>
3401
3402         * version.c: Wget 1.5.0 is released.
3403
3404 1998-04-18  Hrvoje Niksic  <hniksic@srce.hr>
3405
3406         * url.c (str_url): Ditto.
3407
3408         * ftp-basic.c (ftp_rest): Use new name.
3409
3410         * utils.c (long_to_string): Renamed from prnum().
3411
3412 1998-04-16  Hrvoje Niksic  <hniksic@srce.hr>
3413
3414         * version.c: Wget 1.5-b17 is released.
3415
3416 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
3417
3418         * headers.c (header_get): New argument FLAGS.
3419
3420         * http.c (gethttp): If request is malformed, bail out of the
3421         header loop.
3422         (gethttp): Check for empty header *after* the status line checks.
3423         (gethttp): Disallow continuations for status line.
3424
3425 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
3426
3427         * version.c: Wget 1.5-b16 is released.
3428
3429 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
3430
3431         * init.c (commands): Renamed `always_rest' to `continue'.
3432
3433 1998-04-05  Hrvoje Niksic  <hniksic@srce.hr>
3434
3435         * all: Use it.
3436
3437         * log.c (logputs): New argument.
3438         (logvprintf): Ditto.
3439         (logprintf): Ditto.
3440
3441 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
3442
3443         * http.c (http_atotm): Update comment.
3444
3445         * main.c (i18n_initialize): Set LC_MESSAGES, not LC_ALL.
3446
3447         * wget.h: Renamed ENABLED_NLS to HAVE_NLS.
3448
3449         * main.c (i18n_initialize): New function.
3450         (main): Use it.
3451
3452         * log.c: Include <unistd.h>.
3453
3454         * retr.c (show_progress): Cast alloca to char *.
3455
3456 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
3457
3458         * version.c: Wget 1.5-b15 is released.
3459
3460 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
3461
3462         * utils.h: Declare file_non_directory_p().
3463
3464 1998-04-03  Hrvoje Niksic  <hniksic@srce.hr>
3465
3466         * main.c (main): It's `tries', not `numtries' now.
3467
3468 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
3469
3470         * init.c (getperms): Removed.
3471
3472 1998-04-01  Tim Charron  <tcharron@interlog.com>
3473
3474         * log.c (logvprintf): Don't use ARGS twice.
3475
3476 1998-04-01  John  <john@futuresguide.com>
3477
3478         * mswindows.c: Cleaned up.
3479
3480 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
3481
3482         * version.c: Wget 1.5-b14 is released.
3483
3484 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
3485
3486         * ftp-opie.c (STRLEN4): New macro.
3487         (btoe): Use it.
3488
3489 1998-04-01  Junio Hamano  <junio@twinsun.com>
3490
3491         * http.c: Document all the Digest functions.
3492
3493 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
3494
3495         * utils.c (file_non_directory_p): Renamed from isfile().
3496
3497         * mswindows.h (S_ISREG): New macro, suggested by Tim Adam.
3498
3499 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
3500
3501         * utils.c (mkdirhier): Use 0777 instead of opt.dirmode.
3502
3503         * init.c (cmd_spec_dotstyle): Use 48 dots per line for binary
3504         style.
3505         (cmd_permissions): Removed.
3506
3507         * config.h.in: Add template for WORDS_BIGENDIAN.
3508
3509 1998-03-31  Junio Hamano  <junio@twinsun.com>
3510
3511         * http.c (HEXD2asc): New macro.
3512         (dump_hash): Use it.
3513
3514 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
3515
3516         * version.c: Wget 1.5-b13 is released.
3517
3518 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
3519
3520         * main.c (main): Don't try to use `com'.
3521
3522 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
3523
3524         * init.c (cmd_permissions): New function.
3525
3526 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
3527
3528         * version.c: Wget 1.5-b12 is released.
3529
3530 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
3531
3532         * init.c (commands): Renamed `numtries' to `tries'.
3533         (cmd_spec_debug): Removed.
3534         (home_dir): Under Windows, return `C:\' if HOME is undefined.
3535
3536 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
3537
3538         * config.h.in: Define _XOPEN_SOURCE.
3539
3540         * init.c (check_user_specified_header): New function.
3541         (cmd_spec_header): Use it.
3542         (cmd_spec_useragent): New function.
3543
3544 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
3545
3546         * version.c: Wget 1.5-b11 is released.
3547
3548 1998-03-28  Hrvoje Niksic  <hniksic@srce.hr>
3549
3550         * wget.h: Include <libintl.h> only if NLS is enabled.
3551
3552 1998-03-26  Hrvoje Niksic  <hniksic@srce.hr>
3553
3554         * options.h (struct options): Made `wait' a long.
3555         (struct options): Ditto for `timeout'.
3556
3557 1998-03-19  Hrvoje Niksic  <hniksic@srce.hr>
3558
3559         * utils.c (exists): Renamed to file_exists_p.
3560         (file_exists_p): Use access() if available.
3561
3562 1998-03-17  Hrvoje Niksic  <hniksic@srce.hr>
3563
3564         * utils.c (memfatal): Set save_log_p to 0 to avoid potential
3565         infloop.
3566
3567         * log.c: do_logging -> save_log_p.
3568
3569         * config.h.in: Added template for HAVE_VSNPRINTF.
3570
3571 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
3572
3573         * init.c: Ditto.
3574
3575         * http.c: Protect declaration against non-ANSI compiler.
3576
3577         * log.c (logvprintf): Use vsnprintf() if available.
3578
3579         * getopt.c (main): Don't translate test stuff.
3580
3581 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
3582
3583         * version.c: Wget 1.5-b10 is released.
3584
3585 1998-03-11  Hrvoje Niksic  <hniksic@srce.hr>
3586
3587         * ftp.c (getftp): Don't translate "CWD %s".
3588
3589         * wget.h (GCC_FORMAT_ATTR): Renamed from FORMAT_ATTR.
3590
3591 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
3592
3593         * ftp-opie.c (btoe): Use memcpy() instead of strncat().
3594
3595         * log.c (logputs): New function.
3596         (logvprintf): Renamed from vlogmsg; use logputs().
3597
3598         * retr.c (show_progress): Print `[100%]' when the retrieval is
3599         finished.
3600
3601         * init.c (run_wgetrc): Use FILE, not PATH.
3602         (wgetrc_file_name): Ditto.
3603
3604 1998-03-07  Tim Adam  <tma@osa.com.au>
3605
3606         * recur.c (parse_robots): Correctly reset `entries' on empty
3607         disallow.
3608
3609 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
3610
3611         * init.c (cmd_spec_debug): Use cmd_boolean().
3612
3613 1998-02-23  Hrvoje Niksic  <hniksic@srce.hr>
3614
3615         * http.c (gethttp): Create proxy-authorization correctly.
3616
3617 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
3618
3619         * md5.c: Ditto.
3620
3621         * getopt.c: Use ANSI function definitions.
3622
3623         * ftp-opie.c: New file.
3624
3625         * options.h: Don't redefine EXTERN.
3626
3627         * init.c: Sort it correctly.
3628
3629 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
3630
3631         * version.c: Wget 1.5-b9 is released.
3632
3633 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
3634
3635         * recur.c (recursive_retrieve): Reset `first_time'.
3636
3637         * ftp.c (getftp): Added `default' clause to switches of uerr_t.
3638
3639         * rbuf.c (rbuf_peek): Simplified.
3640         (rbuf_flush): Use MINVAL.
3641
3642         * wget.h (MINVAL): Moved from url.h.
3643
3644         * rbuf.h (RBUF_FD): New macro.
3645
3646         * url.c (add_url): Add to the head of the list.
3647
3648         * ftp.c (ftp_retrieve_list): Set the permissions to downloaded
3649         file.
3650         (getftp): Set the default permissions to 0600.
3651
3652 1998-02-21  Hrvoje Niksic  <hniksic@srce.hr>
3653
3654         * url.c (get_urls_html): Ditto.
3655         (convert_links): Ditto.
3656
3657         * recur.c (parse_robots): Ditto.
3658
3659         * html.c (ftp_index): Ditto.
3660
3661         * ftp-ls.c (ftp_parse_unix_ls): Open file as binary.
3662
3663         * init.c (defaults): Initialize `opt' to zero via memset.
3664
3665         * http.c (digest_authentication_encode): goto considered harmful.
3666
3667 1998-02-19  Hrvoje Niksic  <hniksic@srce.hr>
3668
3669         * ftp.c (delelement): Simplify and fix leak.
3670
3671 1998-02-18  Hrvoje Niksic  <hniksic@srce.hr>
3672
3673         * http.c (dump_hash): Use HEXD2ASC instead of home-grown stuff.
3674
3675         * url.h (HEXD2ASC): Removed warning.
3676
3677         * init.c (comind): Use binary search.
3678         (commands): Reorganized.
3679         (setval): Ditto.
3680         (cmd_boolean): New function.
3681         (cmd_number): Ditto.
3682         (cmd_number_inf): Ditto.
3683         (cmd_string): Ditto.
3684         (cmd_vector): Ditto.
3685         (cmd_directory_vector): Ditto.
3686         (cmd_bytes): Ditto.
3687         (cmd_time): Ditto.
3688         (cmd_spec_debug): Ditto.
3689         (cmd_spec_dirmode): Ditto.
3690         (cmd_spec_dirstruct): Ditto.
3691         (cmd_spec_dotstyle): Ditto.
3692         (cmd_spec_header): Ditto.
3693         (cmd_spec_htmlify): Ditto.
3694         (cmd_spec_mirror): Ditto.
3695         (cmd_spec_outputdocument): Ditto.
3696         (cmd_spec_recursive): Ditto.
3697         (settime): Merged with cmd_time().
3698         (setbytes): Merged with cmd_bytes().
3699         (setonoff): Merged with cmd_boolean().
3700         (onoff): Ditto.
3701
3702 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
3703
3704         * Makefile.in (distclean): Remove `config.h'.
3705
3706 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
3707
3708         * version.c: Wget 1.5-b8 is released.
3709
3710 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
3711
3712         * http.c (digest_authentication_encode): New function.
3713         (create_authorization_line): Use it.
3714         (dump_hash): New function.
3715         (digest_authentication_encode): Use it.
3716
3717         * fnmatch.c: Renamed from `mtch.c'.
3718
3719 1998-02-15  Karl Eichwalder  <ke@suse.de>
3720
3721         * main.c (main): Tag "Written by..." string as translatable.
3722
3723 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
3724
3725         * wget.h (FREE_MAYBE): New macro.
3726
3727         * http.c (create_authorization_line): Don't use ANSI C string
3728         concatenation feature.
3729         (basic_authentication_encode): Use alloca() for temporary
3730         variables.
3731
3732         * recur.h: Ditto.
3733
3734         * http.c: Ditto.
3735
3736         * headers.h: Ditto.
3737
3738         * ftp-basic.c: Protect declaration against non-ANSI compiler.
3739
3740         * http.c (create_authorization_line): Cast `unsigned char *' to
3741         `char *' for sprintf, to shut up the noisy Digital Unix cc.
3742
3743 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
3744
3745         * version.c: Wget 1.5-b7 is released.
3746
3747 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
3748
3749         * cmpt.c (strstr): Synched with glibc-2.0.6.
3750
3751         * ftp-basic.c (calculate_skey_response): Ditto.
3752         (calculate_skey_response): Use alloca().
3753
3754         * http.c (create_authorization_line): Work with FSF's version of
3755         md5.c.
3756
3757         * md5.c: New file, from GNU libc.
3758
3759 1998-02-14  Hrvoje Niksic  <hniksic@srce.hr>
3760
3761         * url.h (URL_CLEANSE): Name the temporary variable more carefully.
3762
3763 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
3764
3765         * http.c (basic_authentication_encode): New function, instead of
3766         the macro.
3767
3768 1998-02-13  Junio Hamano  <junio@twinsun.com>
3769
3770         * http.c: Add HTTP-DA support.
3771         * ftp-basic.c: Add Opie/S-key support.
3772         * config.h.in, Makefile.in: Add HTTP-DA and Opie/S-key support.
3773         * md5.c, md5.h: New files.
3774
3775 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
3776
3777         * http.c (http_process_range): Renamed from hprocrange().
3778         (http_process_range): Parse the whole header.
3779
3780         * headers.c: New file.
3781         (header_process): New function.
3782         (header_get): Renamed from fetch_next_header.
3783
3784         * all: Include utils.h only where necessary.
3785
3786         * wget.h: Declare xmalloc(), xrealloc() and xstrdup() here.
3787
3788         * wget.h: Add provisions for dmalloc.
3789
3790 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
3791
3792         * version.c: Wget 1.5-b6 is released.
3793
3794 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
3795
3796         * ftp.c (ftp_loop): Determine `filename' more precisely.
3797
3798         * init.c (setval): Don't set `opt.quiet' if output-document is
3799         `-'.
3800
3801         * log.c (log_init): Print to STDERR instead of STDOUT.
3802         (vlogmsg): Use STDERR by default.
3803         (logflush): Ditto.
3804
3805 1998-02-11  Simon Josefsson  <jas@pdc.kth.se>
3806
3807         * host.c: Use addr_in again.
3808
3809 1998-02-08  Karl Eichwalder  <karl@suse.de>
3810
3811         * http.c (gethttp): Fixed typo.
3812
3813 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
3814
3815         * version.c: Wget 1.5-b5 is released.
3816
3817 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
3818
3819         * retr.c (show_progress): Use it.
3820
3821         * log.c (logflush): New function.
3822
3823         * wget.h: Utilize __attribute__ if on gcc.
3824
3825 1998-02-07  Hrvoje Niksic  <hniksic@srce.hr>
3826
3827         * http.c (base64_encode_line): New argument LENGTH.
3828         (BASIC_AUTHENTICATION_ENCODE): Use it.
3829         (BASIC_AUTHENTICATION_ENCODE): Take length of HEADER into account.
3830
3831         * main.c (main): Fixed fprintf() format mismatch.
3832
3833 1998-02-06  Hrvoje Niksic  <hniksic@srce.hr>
3834
3835         * version.c: Wget 1.5-b4 is released.
3836
3837 1998-02-03  Simon Josefsson  <jas@pdc.kth.se>
3838
3839         * host.c: use sockaddr_in instead of addr_in.
3840
3841 1998-02-04  Hrvoje Niksic  <hniksic@srce.hr>
3842
3843         * init.c (cleanup): Use it.
3844
3845         * recur.c (recursive_cleanup): New function.
3846
3847         * retr.c (retrieve_from_file): Ditto.
3848
3849         * main.c (main): Use it.
3850
3851         * recur.c (recursive_reset): New function.
3852
3853         * retr.c (retrieve_from_file): Ditto.
3854
3855         * main.c (main): Simplify call to recursive_retrieve().
3856
3857         * recur.c (recursive_retrieve): Removed FLAGS argument.
3858
3859         * http.c (gethttp): Changed call to iwrite().
3860
3861 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
3862
3863         * url.c (get_urls_html): Ditto.
3864         (free_urlpos): Ditto.
3865         (mkstruct): Ditto.
3866         (construct): Ditto.
3867
3868         * retr.c (retrieve_url): Move declaration of local variables to
3869         smaller scope.
3870
3871         * url.c (urlproto): Use it.
3872         (parseurl): Ditto.
3873         (str_url): Ditto.
3874         (get_urls_html): Ditto.
3875
3876         * utils.h (ARRAY_SIZE): New macro.
3877
3878         * url.c (proto): Moved from url.h.
3879
3880         * url.h (URL_CLEANSE): Reformatted.
3881         (USE_PROXY_P): Renamed from USE_PROXY.
3882
3883         * ftp-basic.c: Adjust to the new interface of iwrite().
3884
3885         * ftp-basic.c (ftp_port): Use alloca().
3886
3887 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
3888
3889         * version.c: Wget 1.5-b3 is released.
3890
3891         * host.c (ftp_getaddress): Don't print to stderr directly.
3892
3893         * init.c (setbytes): Support `g' for gigabytes.
3894         (cmdtype): New specification CTIME.
3895         (setval): Use it with settime().
3896         (commands): Use it for WAIT and TIMEOUT.
3897
3898 1998-02-02  Hrvoje Niksic  <hniksic@srce.hr>
3899
3900         * http.c (BASIC_AUTHENTICATION_ENCODE): New macro.
3901         (gethttp): Use it.
3902
3903         * utils.c (unique_name_1): Moved from url.c.
3904         (unique_name): Ditto.
3905
3906         * url.c (url_filename): Ditto.
3907
3908         * log.c (redirect_output): Changed call to unique_name().
3909
3910         * url.c (unique_name_1): Renamed from unique_name().
3911         (unique_name): Changed interface.
3912
3913         * init.c (enum cmdid): Moved from init.h.
3914         (cmdtype): Ditto.
3915         (struct cmd): Ditto.
3916
3917         * main.c (main): Use it.
3918         (main): Moved `--backups' to not have a short option.
3919
3920         * options.h (struct options): New member BACKGROUND.
3921
3922         * main.c (print_help): Rearranged.
3923         (main): New long options for -n* short options: --no-directories,
3924         --no-host-directories, --non-verbose, --no-host-lookup and
3925         --dont-remove-listing.
3926
3927 1998-02-01  Hrvoje Niksic  <hniksic@srce.hr>
3928
3929         * main.c (main): Use log_close().
3930
3931         * log.c: New variable LOGFP.
3932         (vlogmsg): Use it.
3933         (redirect_output): Don't open /dev/null; set LOGFP to stdin
3934         instead.
3935         (log_close): New function.
3936
3937         * options.h (struct options): Removed LFILE.
3938
3939         * log.c (log_enable): Removed.
3940
3941         * main.c (main): Use it.
3942
3943         * log.c (log_init): New function.
3944
3945         * url.c (get_urls_html): Removed needless assignment to BASE.
3946
3947         * host.c (add_hlist): Don't set CMP needlessly.
3948
3949         * utils.c (match_backwards): Ditto.
3950         (in_acclist): Ditto.
3951
3952         * url.c (findurl): Ditto.
3953
3954         * netrc.c (parse_netrc): Ditto.
3955
3956         * log.c (log_dump): Ditto.
3957
3958         * html.c (html_quote_string): Ditto.
3959
3960         * ftp-basic.c (ftp_request): Made static.
3961
3962         * connect.c: Made global variables static.
3963
3964         * url.c (construct): Ditto.
3965
3966         * init.c (init_path): Avoid assignment inside `if'-condition.
3967
3968         * ftp.c: Don't include in.h or winsock.h.
3969
3970         * ftp.c (ftp_loop): Use SZ.
3971
3972         * connect.c (bindport): Cast &addrlen to int *.
3973         (conaddr): Ditto.
3974
3975         * init.c (initialize): Don't use SYSTEM_WGETRC unconditionally.
3976
3977 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
3978
3979         * ftp.c (getftp): Initialize opt.ftp_pass here.
3980         (ftp_retrieve_dirs): Use alloca().
3981
3982         * init.c (defaults): Don't initialize opt.ftp_pass.
3983
3984         * sysdep.h (S_ISLNK): Declare for OS/2; ditto for lstat.
3985         From Ivan F. Martinez <ivanfm@ecodigit.com.br>.
3986
3987 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
3988
3989         * recur.c (parse_robots): Check for comments more correctly.
3990
3991         * host.c (ftp_getaddress): Use STRDUP_ALLOCA.
3992         (ftp_getaddress): Add diagnostics when reverse-lookup yields only
3993         hostname.
3994
3995 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
3996
3997         * version.c: Wget 1.5-b2 is released.
3998
3999         * netrc.c (NETRC_FILE_NAME): Moved from netrc.h.
4000
4001         * utils.c (proclist): Pass FNM_PATHNAME to fnmatch().
4002
4003         * ftp-basic.c (ftp_pasv): Avoid unnecessary casting to unsigned
4004         char.
4005
4006         * log.c: Don't attempt to hide arguments from ansi2knr.
4007
4008         * cmpt.c: Synched strptime() and mktime() with glibc-2.0.6.
4009
4010         * ansi2knr.c: Use a later version, from fileutils-3.16l alpha.
4011
4012         * ftp.c (getftp): Ditto.
4013
4014         * http.c (gethttp): Use it.
4015
4016         * retr.c (get_contents): New argument EXPECTED; pass it to
4017         show_progress().
4018         (show_progress): New argument EXPECTED; use it to display
4019         percentages.
4020
4021         * init.c (setval): Ditto.
4022
4023         * http.c (gethttp): Ditto.
4024         (http_loop): Ditto.
4025
4026         * ftp.c (getftp): Ditto.
4027         (ftp_loop_internal): Ditto.
4028
4029         * ftp-ls.c (ftp_parse_unix_ls): Use abort() instead of assert(0).
4030
4031         * sysdep.h (CLOSE): Simplify; use DEBUGP.
4032
4033         * netrc.c (search_netrc): Use alloca().
4034
4035         * init.c (defaults): Initialize no_flush.
4036
4037         * log.c (vlogmsg): Don't flush if no_flush.
4038
4039         * options.h (struct options): New variable no_flush.
4040
4041         * main.c (main): Don't play games with buffering.
4042
4043         * log.c (vlogmsg): Flush the output after every message.
4044
4045 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
4046
4047         * init.c (parse_line): Ditto.
4048
4049         * url.c (get_urls_html): Ditto.
4050
4051         * main.c (main): Don't cast to unsigned char.
4052
4053         * init.c (run_wgetrc): Don't cast to unsigned char.
4054         (parse_line): Accept char instead of unsigned char.
4055
4056         * html.c (htmlfindurl): Use char instead of unsigned char.
4057
4058         * all: Use them.
4059
4060         * sysdep.h: Add wrappers to ctype macros to make them
4061         eight-bit-clean:
4062
4063 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
4064
4065         * html.c (htmlfindurl): Download <img lowsrc=...>
4066
4067         * main.c (main): Ignore SIGPIPE.
4068
4069         * connect.c (select_fd): New argument WRITEP.
4070         (iwrite): Call select_fd().
4071
4072 1997-02-27  Fila Kolodny <fila@ibi.com>
4073
4074         * ftp.c (ftp_retrieve_list): If retrieving symlink and the proper
4075         one already exists, just skip it.
4076
4077 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
4078
4079         * http.c (gethttp): Cosmetic changes.
4080
4081         * http.c (check_end): Allow `+D...' instead of `GMT'.
4082         From Fabrizio Pollastri <pollastri@cstv.to.cnr.it>.
4083
4084         * url.c (process_ftp_type): New function.
4085         (parseurl): Use it.
4086
4087         * connect.c (iwrite): Allow writing in a few chunks.
4088         (bindport): Made SRV static, so addr can point to it.
4089         (select_fd): Removed HPUX kludge.
4090
4091         * host.c (free_hlist): Incorporated into clean_hosts().
4092
4093 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
4094
4095         * host.c (hlist): Made static.
4096         (search_address): Cosmetic change.
4097
4098 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
4099
4100         * version.c: Wget v1.5-b1 is released.
4101
4102         * http.c (hgetlen): Use sizeof() to get the header length.
4103         (hgetrange): Ditto.
4104         (hgettype): Ditto.
4105         (hgetlocation): Ditto.
4106         (hgetmodified): Ditto.
4107         (haccepts_none): Ditto.
4108
4109         * main.c (main): Updated `--version' and `--help' output, as per
4110         Francois Pinard's suggestions.
4111
4112         * main.c: Include locale.h; call setlocale(), bindtextdomain() and 
4113         textdomain().
4114
4115         * config.h.in: Define stubs for I18N3.
4116
4117         * wget.h: Include libintl.h.
4118
4119 1998-01-28  Hrvoje Niksic  <hniksic@srce.hr>
4120
4121         * url.c (mkstruct): Check for opt.cut_dirs.
4122         (mkstruct): alloca()-te more, xmalloc() less.
4123
4124         * utils.c (load_file): Check for ferror().
4125
4126         * url.c (get_urls_file): Close only the files we opened.
4127         (get_urls_html): Ditto.
4128         (count_slashes): New function.
4129
4130         * http.h: Removed.
4131
4132         * http.c (gethttp): Respect username and password provided by
4133         proxy URL.
4134         (base64_encode_line): Write into an existing buffer instead of
4135         malloc-ing a new one.
4136         (struct http_stat): Moved from http.h
4137
4138         * retr.c (retrieve_url): Free SUF.
4139
4140         * all: Removed lots of unnecessary .h dependencies.
4141
4142         * html.c (global_state): Made static.
4143
4144         * utils.h (ALLOCA_ARRAY): New macro.
4145
4146         * main.c (main): New option `--cut-dirs'.
4147
4148         * url.c (construct): Use alloca() for T.
4149
4150         * utils.c (mkdirhier): Use STRDUP_ALLOCA.
4151
4152         * host.c (_host_t): Moved from host.h.
4153         (struct host): Renamed from _host_t.
4154         (store_hostaddress): Use STRDUP_ALLOCA for INET_S.
4155         (realhost): Ditto.
4156
4157         * host.h: Don't include url.h.
4158
4159         * ftp.c (LIST_FILENAME): Moved from ftp.h.
4160
4161         * init.c (DEFAULT_FTP_ACCT): Moved from ftp.h.
4162
4163         * main.c (main): Enable log if the output goes to a TTY.
4164
4165         * connect.h: Removed unused constant `BACKLOG'.
4166
4167         * config.h.in: Check for isatty().
4168
4169         * Makefile.in (LINK): Use CFLAGS when linking.
4170
4171 1998-01-27  Hrvoje Niksic  <hniksic@srce.hr>
4172
4173         * mswindows.c (ws_hangup): Use redirect_output().
4174
4175         * main.c (redirect_output_signal): New function; use
4176         redirect_output().
4177
4178         * log.c (redirect_output): New function, based on hangup(), which
4179         is deleted.
4180
4181         * log.c (vlogmsg): New function.
4182
4183         * wget.h (DEBUGP): Use debug_logmsg().
4184
4185         * main.c (hangup): Use it.
4186
4187         * log.c (log_dump): New function.
4188
4189         * utils.h (DO_REALLOC): Use `long' for various sizes.
4190
4191         * http.c (hskip_lws): Use `while', for clarity.
4192         (HTTP_DYNAMIC_LINE_BUFFER): New constant.
4193         (fetch_next_header): Use it instead of DYNAMIC_LINE_BUFFER.
4194
4195         * ftp-basic.c (FTP_DYNAMIC_LINE_BUFFER): New constant.
4196         (ftp_response): Use it instead of DYNAMIC_LINE_BUFFER.
4197
4198         * utils.c (DYNAMIC_LINE_BUFFER): Moved from utils.c.
4199         (LEGIBLE_SEPARATOR): Ditto.
4200         (FILE_BUFFER_SIZE): Ditto.
4201
4202         * retr.c (BUFFER_SIZE): Moved from retr.h.
4203
4204         * log.c: New file.
4205         (logmsg): Moved from utils.c.
4206         (debug_logmsg): New function.
4207
4208         * mswindows.h: Include it here.
4209
4210         * init.c: Ditto.
4211
4212         * utils.c: Don't include <windows.h>.
4213
4214 1998-01-25  Hrvoje Niksic  <hniksic@srce.hr>
4215
4216         * host.c (ftp_getaddress): Ditto.
4217
4218         * main.c (main): Use it.
4219
4220         * utils.h (STRDUP_ALLOCA): New macro.
4221
4222         * init.c: Prepend `wget: ' to error messages printed on stderr.
4223
4224         * utils.c (mkdirhier): Renamed from mymkdir.
4225         (touch): Renamed from my_touch.
4226         (pwd_cuserid): Renamed from my_cuserid().
4227
4228 1998-01-24  Andy Eskilsson  <andy.eskilsson@telelogic.se>
4229
4230         * utils.c (accdir): Process wildcards.
4231         (proclist): New function.
4232         (accdir): Use it to avoid code repetition.
4233
4234 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
4235
4236         * recur.c (parse_robots): Respect opt.useragent; use alloca().
4237
4238         * http.c (gethttp): Construct useragent accordingly.
4239
4240         * version.c: Changed version string to numbers-only.
4241
4242         * main.c (print_help): List all the options.
4243
4244         * mswindows.c (windows_main_junk): Initialize argv0 here.
4245
4246 1998-01-24  Karl Heuer  <kwzh@gnu.org>
4247
4248         * netrc.c (search_netrc): Initialize `l' only after processing
4249         netrc.
4250
4251         * main.c (main): Don't trap SIGHUP if it's being ignored.
4252
4253 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
4254
4255         * all: Use logmsg().
4256
4257         * utils.c (time_str): Moved from retr.c.
4258         (logmsg): New function.
4259         (logmsg_noflush): Ditto.
4260
4261         * rbuf.c: New file, moved buf_* functions here.
4262
4263         * ftp.c (ftp_expected_bytes): Moved from ftp-basic.c.
4264
4265         * ftp-basic.c (ftp_rest): Use prnum().
4266
4267         * ftp-basic.c: Ditto.
4268
4269         * ftp.c: Use the new reading functions and macros.
4270
4271         * retr.c (buf_initialize): New function.
4272         (buf_initialized_p): Ditto.
4273         (buf_uninitialize): Ditto.
4274         (buf_fd): Ditto.
4275
4276         * http.c (fetch_next_header): Use the BUF_READCHAR macro for
4277         efficiency.
4278         (gethttp): Use alloca() where appropriate.
4279
4280         * retr.c (buf_readchar): Use it.
4281         (buf_peek): Use rstreams.
4282
4283         * retr.h (BUF_READCHAR): New macro.
4284
4285         * init.c (home_dir): Rewritten for clarity.
4286         (init_path): Ditto.
4287
4288         * mswindows.c (ws_backgnd): Made static.
4289         (read_registry): Ditto.
4290         (ws_cleanup): Ditto.
4291         (ws_handler): Ditto.
4292
4293 1998-01-23  Hrvoje Niksic  <hniksic@srce.hr>
4294
4295         * alloca.c: New file.
4296
4297         * Makefile.in (ALLOCA): Define.
4298
4299         * mswindows.c (ws_help): Constify.
4300         (ws_help): Use alloca.
4301
4302         * mswindows.c: Reformat.
4303
4304         * all: Added _(...) annotations for I18N snarfing and translation.
4305
4306         * host.c (ftp_getaddress): Nuke SYSINFO.
4307         (ftp_getaddress): Don't use getdomainname().
4308         (ftp_getaddress): Use uname(), where available.
4309
4310         * http.c (gethttp): Protect a stray fprintf().
4311
4312         * init.c (settime): New function.
4313         (setval): Treat WAIT specially, allowing suffixes like `m' for
4314         minutes, etc.
4315
4316 1998-01-21  Hrvoje Niksic  <hniksic@srce.hr>
4317
4318         * url.c (get_urls_html): Use alloca() for TEMP.
4319
4320 1998-01-21  Jordan Mendelson  <jordy@wserv.com>
4321
4322         * url.c (rotate_backups): New function.
4323
4324         * http.c (gethttp): Ditto.
4325
4326         * ftp.c (getftp): Rotate backups.
4327
4328 1997-12-18  Hrvoje Niksic  <hniksic@srce.hr>
4329
4330         * all: Renamed nmalloc(), nrealloc() and nstrdup() to xmalloc(),
4331         xrealloc() and xstrdup().  Use the new functions.
4332
4333         * url.c (decode_string): Made static.
4334         (has_proto): Ditto.
4335         (parse_dir): Ditto.
4336         (parse_uname): Ditto.
4337         (mkstruct): Ditto.
4338         (construct): Ditto.
4339         (construct_relative): Ditto.
4340
4341         * retr.c (show_progress): Made static.
4342
4343         * recur.c (robots_url): Made static.
4344         (retrieve_robots): Ditto.
4345         (parse_robots): Ditto.
4346         (robots_match): Ditto.
4347
4348         * main.h: Removed.
4349
4350         * main.c (printhelp): Made static.
4351         (hangup): Ditto.
4352
4353         * init.c (comind): Made static.
4354         (defaults): Ditto.
4355         (init_path): Ditto.
4356         (run_wgetrc): Ditto.
4357         (onoff): Ditto.
4358         (setonoff): Ditto.
4359         (setnum): Ditto.
4360         (myatoi): Ditto.
4361         (getperms): Ditto.
4362         (setbytes): Ditto.
4363
4364         * http.c (fetch_next_header): Made static.
4365         (hparsestatline): Ditto.
4366         (hskip_lws): Ditto.
4367         (hgetlen): Ditto.
4368         (hgetrange): Ditto.
4369         (hgettype): Ditto.
4370         (hgetlocation): Ditto.
4371         (hgetmodified): Ditto.
4372         (haccepts_none): Ditto.
4373         (gethttp): Ditto.
4374         (base64_encode_line): Ditto.
4375         (mktime_from_utc): Ditto.
4376         (http_atotm): Ditto.
4377
4378         * html.c (idmatch): Made static.
4379
4380         * host.c (search_host): Made static.
4381         (search_address): Ditto.
4382         (free_hlist): Ditto.
4383
4384         * ftp.c (getftp): Made static.
4385         (ftp_loop_internal): Ditto.
4386         (ftp_get_listing): Ditto.
4387         (ftp_retrieve_list): Ditto.
4388         (ftp_retrieve_dirs): Ditto.
4389         (ftp_retrieve_glob): Ditto.
4390         (freefileinfo): Ditto.
4391         (delelement): Ditto.
4392
4393         * ftp-ls.c (symperms): Made static.
4394         (ftp_parse_unix_ls): Ditto.
4395
4396         * connect.c (select_fd): Made static.
4397
4398         * utils.c (xmalloc): Renamed from nmalloc.
4399         (xrealloc): Renamed from nrealloc.
4400         (xstrdup): Renamed from nstrdup.
4401
4402         * getopt.c (exchange): Use alloca.
4403
4404         * mswindows.c (mycuserid): Use strncpy.
4405
4406         * New files mswindows.c, mswindows.h, sysdep.h.  winjunk.c,
4407         systhings.h, windecl.h and winjunk.h removed.
4408
4409         * mswindows.c (sleep): New function.
4410
4411         * utils.c: Include <windows.h> under Windows.
4412
4413 1997-06-12  Darko Budor  <dbudor@zesoi.fer.hr>
4414
4415         * url.h (URL_UNSAFE): Change default under Windows.
4416
4417         * retr.c (retrieve_from_file): Respect opt.delete_after.
4418
4419         * main.c (main): Call ws_help on Windows.
4420
4421         * winjunk.c (windows_main_junk): New function.
4422
4423         * main.c (main): Junk-process argv[0].
4424
4425         * http.c (mktime_from_utc): Return -1 if mktime failed.
4426
4427         * http.c (http_loop): Ditto.
4428
4429         * ftp.c (ftp_loop_internal): Change title on Windows when using a
4430         new URL.
4431
4432         * winjunk.c (getdomainname): Lots of functions.
4433
4434 1997-06-12  Hrvoje Niksic  <hniksic@srce.hr>
4435
4436         * cmpt.c (strptime_internal): Handle years more correctly for
4437         `%y'.
4438
4439 1997-06-09  Mike Thomas <mthomas@reality.ctron.com>
4440
4441         * http.c (gethttp): Allocate enough space for
4442         `Proxy-Authorization' header.
4443
4444 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
4445
4446         * version.c: Wget/1.4.5 is released.
4447
4448 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
4449
4450         * retr.c (get_contents): Check return value of fwrite more
4451         carefully.
4452
4453 1997-03-30  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
4454
4455         * cmpt.c (strptime_internal) [case 'Y']: Always subtract 1900 from
4456         year, regardless of century.
4457
4458 1997-03-30  Hrvoje Niksic  <hniksic@srce.hr>
4459
4460         * utils.c (isfile): Use `lstat' instead of `stat'.
4461
4462 1997-03-29  Hrvoje Niksic  <hniksic@srce.hr>
4463
4464         * utils.c (numdigit): Use explicit test.
4465
4466 1997-03-21  Hrvoje Niksic  <hniksic@srce.hr>
4467
4468         * http.c (http_loop): Always use `url_filename' to get u->local.
4469
4470 1997-03-20  Hrvoje Niksic  <hniksic@srce.hr>
4471
4472         * url.c: Recognize https.
4473
4474 1997-03-13  Hrvoje Niksic  <hniksic@srce.hr>
4475
4476         * recur.c (recursive_retrieve): Lowercase just the host name.
4477
4478 1997-03-09  Hrvoje Niksic  <hniksic@srce.hr>
4479
4480         * url.c (get_urls_file): Use the correct test.
4481         (get_urls_html): Ditto.
4482
4483 1997-03-07  Hrvoje Niksic  <hniksic@srce.hr>
4484
4485         * connect.c: Reverted addrlen to int.
4486
4487         * init.c (parse_line): Check for -1 instead of NONE.
4488
4489         * version.c: Changed version to 1.4.5.
4490
4491 1997-02-17  Hrvoje Niksic  <hniksic@srce.hr>
4492
4493         * init.c: New option netrc.
4494         (initialize): Don't parse .netrc.
4495
4496         * cmpt.c (recursive): Return rp.
4497         (strptime_internal): Match the long strings first, the abbreviated
4498         second.
4499
4500 1997-02-16  Hrvoje Niksic  <hniksic@srce.hr>
4501
4502         * http.c (check_end): New function.
4503         (http_atotm): Use it.
4504  
4505 1997-02-13  gilles Cedoc  <gilles@cedocar.fr>
4506
4507         * http.c (gethttp): Use them.
4508
4509         * init.c: New options proxy_user and proxy_passwd.
4510
4511 1997-02-14  Hrvoje Niksic  <hniksic@srce.hr>
4512
4513         * ftp.c (ftp_retrieve_list): Create links even if not relative.
4514
4515 1997-02-10  Hrvoje Niksic  <hniksic@srce.hr>
4516
4517         * recur.c (recursive_retrieve): Lowercase the host name, if the
4518         URL is not "optimized".
4519
4520         * host.c (realhost): Return l->hostname, even if it matches with
4521         host.
4522
4523 1997-02-10  Marin Purgar  <pmc@asgard.hr>
4524
4525         * connect.c: Make addrlen size_t instead of int.
4526         (conaddr): Ditto.
4527
4528 1997-02-09  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
4529
4530         * systhings.h: Define S_ISLNK on NeXT too.
4531
4532 1997-02-09  Hrvoje Niksic  <hniksic@srce.hr>
4533
4534         * version.c: Released 1.4.3.
4535
4536         * url.c: Futher update to list of protostrings.
4537         (skip_proto): Skip `//' correctly for FTP and HTTP.
4538
4539         * url.c (get_urls_html): Handle bogus `http:' things a little
4540         different.
4541
4542         * main.c (main): Removed `follow-ftp' from `f'.
4543         (main): Dumped the `prefix-files' and `file-prefix' options and
4544         features; old and bogus.
4545         (main): Exit on failed setval() in `-e'.
4546
4547         * http.c (fetch_next_header): Use it to detect header continuation
4548         correctly.
4549
4550         * retr.c (buf_peek): New function.
4551
4552 1997-02-08  Hrvoje Niksic  <hniksic@srce.hr>
4553
4554         * wget.h: Include time.h and stuff.
4555
4556 1997-02-08  Roger Beeman  <beeman@cisco.com>
4557
4558         * ftp.c: Include <time.h>
4559
4560 1997-02-07  Hrvoje Niksic  <hniksic@srce.hr>
4561
4562         * url.c (findurl): Would read over buffer limits.
4563
4564 1997-02-06  Hrvoje Niksic  <hniksic@srce.hr>
4565
4566         * ftp-ls.c (ftp_parse_unix_ls): Allow spaces in file names.
4567
4568 1997-02-05  Hrvoje Niksic  <hniksic@srce.hr>
4569
4570         * http.c (http_atotm): Initialize tm.is_dst.
4571
4572 1997-02-02  Hrvoje Niksic  <hniksic@srce.hr>
4573
4574         * http.c (gethttp): Don't print the number of retrieved headers.
4575
4576         * main.c (main): New option `--no-clobber', alias for `-nc'.
4577
4578         * url.c: Recognize `https://'.
4579
4580 1997-02-01  Hrvoje Niksic  <hniksic@srce.hr>
4581
4582         * host.c (herrmsg): Don't use h_errno.
4583
4584 1997-01-30  Hrvoje Niksic  <hniksic@srce.hr>
4585
4586         * host.c (accept_domain): Use it.
4587
4588         * main.c (main): New option `--exclude-domains'.
4589
4590         * retr.c (retrieve_url): Use it.
4591         (retrieve_url): Bail out when an URL is redirecting to itself.
4592
4593         * url.c (url_equal): New function.
4594
4595 1997-01-29  Hrvoje Niksic  <hniksic@srce.hr>
4596
4597         * connect.c: Include arpa/inet.h instead of arpa/nameser.h.
4598
4599         * http.c (mk_utc_time): New function.
4600         (http_atotm): Use it; handle time zones correctly.
4601
4602 1997-01-28  Hrvoje Niksic  <hniksic@srce.hr>
4603
4604         * http.c: Ditto.
4605
4606         * ftp-basic.c: Use it instead of WRITE.
4607
4608         * connect.c (iwrite): New function.
4609
4610 1997-01-27  Hrvoje Niksic  <hniksic@srce.hr>
4611
4612         * cmpt.c (mktime): New function.
4613
4614         * netrc.c: Include <sys/types.h>.
4615
4616         * main.c (main): Wouldn't recognize --spider.
4617
4618         * retr.c (rate): Use `B', `KB' and `MB'.
4619         (reset_timer,elapsed_time): Moved from utils.c.
4620
4621         * ftp.c (ftp_retrieve_list): Ditto.
4622
4623         * http.c (http_loop): Don't touch the file if opt.dfp.
4624
4625 1997-01-24  Hrvoje Niksic  <hniksic@srce.hr>
4626
4627         * cmpt.c: New file.
4628
4629         * ftp.c (ftp_retrieve_glob): New argument semantics.
4630         (ftp_retrieve_dirs): Use it.
4631         (ftp_loop): Ditto.
4632
4633         * html.c (htmlfindurl): Recognize `'' as the quote char.
4634
4635 1997-01-23  Hrvoje Niksic  <hniksic@srce.hr>
4636
4637         * ftp.c (ftp_loop_internal): Use it.
4638
4639         * utils.c (remove_link): New function.
4640
4641 1997-01-22  Hrvoje Niksic  <hniksic@srce.hr>
4642
4643         * retr.c (retrieve_url): Require STRICT redirection URL.
4644
4645         * url.c (parseurl): New argument STRICT.
4646
4647         * http.c (hparsestatline): Be a little-bit less strict about
4648         status line format.
4649
4650 1997-01-21  Hrvoje Niksic  <hniksic@srce.hr>
4651
4652         * http.c (gethttp): Use it.
4653
4654         * main.c (main): Don't use '<digit>' as options.
4655
4656         * init.c: New option ignore_length.
4657
4658         * http.c (gethttp): Ditto.
4659         (http_loop): Check for redirection without Location:.
4660         (gethttp): Don't print Length unless RETROKF.
4661
4662         * ftp.c (getftp): Use it.
4663
4664         * url.c (mkalldirs): New function.
4665
4666         * utils.c (mymkdir): Don't check for existing non-directory.
4667
4668         * url.c (mkstruct): Don't create the directory.
4669
4670 1997-01-20  Hrvoje Niksic  <hniksic@srce.hr>
4671
4672         * init.c (setval): Removed NO_RECURSION checks.
4673
4674 1997-01-19  Hrvoje Niksic  <hniksic@srce.hr>
4675
4676         * version.c: "Released" 1.4.3-pre2.
4677
4678         * recur.c (recursive_retrieve): Bypass host checking only if URL
4679         is ftp AND parent URL is not ftp.
4680
4681         * ftp-basic.c (ftp_request): Print out Turtle Power.
4682
4683         * ftp.c (ftp_loop): Call ftp_retrieve_glob with 0 if there's no
4684         wildcard.
4685         (ftp_retrieve_glob): Call ftp_loop_internal even on empty list, if
4686         not glob.
4687
4688         * http.c (gethttp): Be a little bit smarter about status codes.
4689
4690         * recur.c (recursive_retrieve): Always reset opt.recursive when
4691         dealing with FTP.
4692
4693 1997-01-18  Hrvoje Niksic  <hniksic@srce.hr>
4694
4695         * retr.c (retrieve_url): New variable location_changed; use it for
4696         tests instead of mynewloc.
4697         (retrieve_url): Allow heuristic adding of html.
4698
4699         * url.c (url_filename): Don't use the `%' in Windows file names.
4700
4701         * http.c (http_loop): Always time-stamp the local file.
4702
4703         * http.c (http_loop): Ditto.
4704
4705         * ftp.c (ftp_retrieve_list): Use it.
4706
4707         * utils.c (my_touch): New function.
4708
4709         * ftp.c (ftp_retrieve_list): Use #ifdef HAVE_STRUCT_UTIMBUF
4710         instead of #ifndef NeXT.
4711
4712         * utils.c (strptime): New version, by Ulrich Drepper.
4713
4714 1997-01-17  Hrvoje Niksic  <hniksic@srce.hr>
4715
4716         * http.c (haccepts_none): Renamed from `haccepts_bytes'.
4717         (gethttp): If haccepts_none(), disable ACCEPTRANGES.
4718         (http_loop): Would remove ACCEPTRANGES.
4719
4720         * ftp.c (getftp): Call ftp_list with NULL.
4721
4722 1997-01-15  Hrvoje Niksic  <hniksic@srce.hr>
4723
4724         * html.c (ftp_index): Don't print minutes and seconds if we don't
4725         know them; beautify the output.
4726
4727         * ftp.c (getftp): Don't close the socket on FTPNSFOD.
4728
4729 1997-01-14  Hrvoje Niksic  <hniksic@srce.hr>
4730
4731         * utils.c (strptime): New function.
4732         (strptime): Don't use get_alt_number.
4733         (strptime): Don't use locale.
4734         (match_string): Made it a function.
4735
4736 1997-01-12  Hrvoje Niksic  <hniksic@srce.hr>
4737
4738         * http.c (http_atotm): New function.
4739         (http_loop): Use it.
4740
4741         * atotm.c: Removed from the distribution.
4742
4743         * http.c (base64_encode_line): Rewrite.
4744
4745 1997-01-09  Hrvoje Niksic  <hniksic@srce.hr>
4746
4747         * ftp.c (getftp): Use ftp_expected_bytes; print size.
4748
4749         * ftp-basic.c (ftp_response): Use ftp_last_respline.
4750         (ftp_expected_bytes): New function.
4751
4752         * ftp.c (getftp): Print the unauthoritative file length.
4753
4754         * ftp-ls.c: Renamed from ftp-unix.c.
4755         (ftp_parse_ls): Moved from ftp.c.
4756         (ftp_parse_unix_ls): Recognize seconds in time spec.
4757         (ftp_parse_unix_ls): Recognize year-less dates of the previous
4758         year.
4759
4760 1997-01-08  Hrvoje Niksic  <hniksic@srce.hr>
4761
4762         * ftp-basic.c: Don't declare errno if #defined.
4763
4764         * host.c (ftp_getaddress): Check for sysinfo legally.
4765
4766 1997-01-08  Darko Budor  <dbudor@diana.zems.fer.hr>
4767
4768         * connect.c (iread): Use READ.
4769
4770 1996-12-23  Hrvoje Niksic  <hniksic@srce.hr>
4771
4772         * url.c: Recognize finger, rlogin, tn3270, mid and cid as valid
4773         schemes.
4774
4775 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
4776
4777         * host.c (ftp_getaddress): Allow `.' in hostname.
4778
4779 1996-12-26  Darko Budor <dbudor@zems.fer.hr>
4780
4781         * wget.h: READ and WRITE macros for use instead of read and write
4782         on sockets, grep READ *.c, grep WRITE *.c
4783
4784         * wsstartup.c: new file - startup for winsock
4785
4786         * wsstartup.h: new file
4787
4788         * win32decl.h: new file - fixup for <errno.h> and winsock trouble
4789
4790         * configure.bat: Configure utility for MSVC
4791
4792         * src/Makefile.ms,config.h.ms: new files for use with MSVC 4.x
4793
4794 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
4795
4796         * version.c: Released 1.4.3-pre.
4797
4798         * utils.c (prnum): Accept long.
4799         (legible): Use prnum().
4800
4801         * connect.c (make_connection): Accept port as short.
4802         (bindport): Ditto.
4803
4804         * http.c (gethttp): Use search_netrc.
4805
4806 1996-12-21  Hrvoje Niksic  <hniksic@srce.hr>
4807
4808         * ftp.c (getftp): Use search_netrc.
4809
4810         * netrc.c (free_netrc): New function.
4811
4812         * init.c (home_dir): New function.
4813
4814         * url.c (convert_links): Allow REL2ABS changes.
4815
4816 1996-12-21  Gordon Matzigkeit  <gord@gnu.ai.mit.edu>
4817
4818         * netrc.c: New file.
4819         (parse_netrc, maybe_add_to_list): New functions.
4820
4821 1996-12-17  Hrvoje Niksic  <hniksic@srce.hr>
4822
4823         * retr.c (retrieve_url): Reset opt.recursion before calling
4824         ftp_loop if it is reached through newloc.
4825
4826         * init.c (run_wgetrc): Print the wgetrc path too, when reporting
4827         error; don't use "Syntax error", since we don't know if it is
4828         really a syntax error.
4829
4830 1996-12-16  Hrvoje Niksic  <hniksic@srce.hr>
4831
4832         * utils.c (acceptable): Extract the filename part of the path.
4833
4834         * recur.c (recursive_retrieve): Call acceptable() with the right
4835         argument; would bug out on wildcards.
4836
4837         * init.c (parse_line): Likewise.
4838
4839         * html.c (htmlfindurl): Cast to char * when calling stuff.
4840
4841 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
4842
4843         * ftp.c (getftp): Use ftp_pasv.
4844
4845         * ftp-basic.c (ftp_request): Accept NULL value.
4846         (ftp_pasv): New function.
4847
4848         * options.h (struct options): Add passive FTP option.
4849
4850 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
4851
4852         * url.c (parseurl): Debug output.
4853
4854         * utils.c (path_simplify): New one, adapted from bash's
4855         canonicalize_pathname().
4856
4857 1996-12-14  Hrvoje Niksic  <hniksic@srce.hr>
4858
4859         * ftp.c (getftp): Don't discard the buffer.
4860
4861         * retr.c (get_contents): New parameter nobuf.
4862
4863 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
4864
4865         * html.c (htmlfindurl): Recognize <meta contents="d; URL=...".
4866
4867         * init.c (setval): Strip the trailing slashes on CVECDIR.
4868
4869 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
4870
4871         * init.c: Make excludes and includes under CVECDIR instead of
4872         CVEC.
4873
4874 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
4875
4876         * url.c (get_urls_html): Skip "http:".
4877
4878 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
4879
4880         * utils.c (strcasecmp): From glibc.
4881         (strncasecmp): Also.
4882         (strstr): Also.
4883
4884         * url.c: Added javascript: to the list of URLs prefixes.
4885
4886 1996-12-12  Shawn McHorse  <riffraff@txdirect.net>
4887
4888         * recur.c (retrieve_robots): Print the warning message only if
4889         verbose.
4890
4891 1996-12-12  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
4892
4893         * ftp.c (ftp_retrieve_list): Use NeXT old utime interface.
4894
4895 1996-12-12  Hrvoje Niksic  <hniksic@srce.hr>
4896
4897         * systhings.h: New file.
4898
4899         * ../configure.in: Check for utime.h
4900
4901         * ftp.c: Check whether we have unistd.h.
4902
4903 1996-11-27  Hrvoje Niksic  <hniksic@srce.hr>
4904
4905         * recur.c (recursive_retrieve): Send the canonical URL as referer.
4906         (recursive_retrieve): Call get_urls_html with the canonical URL.
4907
4908 1996-12-13  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
4909
4910         * (configure.in, config.h.in, src/Makefile.in, src/*.[ch]): Add
4911         ansi2knr support for compilers which don't support ANSI style
4912         function prototypes and signatures.
4913
4914         * (aclocal.m4, src/ansi2knr.c, src/ansi2knr.1): New files.
4915
4916 1996-11-26  Hrvoje Niksic  <hniksic@srce.hr>
4917
4918         * url.c: Use it; Recognize paths ending with "." and ".." as
4919         directories.
4920         (url_filename): Append .n whenever file exists and could be a
4921         directory.
4922
4923         * url.h (ISDDOT): New macro.
4924
4925         * init.c (parse_line): Use unsigned char.
4926
4927         * url.c (get_urls_html): Cast to unsigned char * when calling
4928         htmlfindurl.
4929
4930         * html.c (htmlfindurl): Use unsigned char.
4931
4932         * version.c: Changed version to 1.4.3.
4933
4934 1996-11-25  Hrvoje Niksic  <hniksic@srce.hr>
4935
4936         * version.c: Released 1.4.2.
4937
4938         * ftp.c (getftp): Simplified assertion.
4939         (ftp_loop_internal): Remove symlink before downloading.
4940         (ftp_retrieve_list): Unlink the symlink name before attempting to
4941         create a symlink!
4942
4943         * options.h (struct options): Renamed print_server_response to
4944         server_response.
4945
4946         * ftp.c (rel_constr): Removed.
4947         (ftp_retrieve_list): Don't use it.
4948         (ftp_retrieve_list): Use opt.retr_symlinks.
4949
4950 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
4951
4952         * main.c (main): New option retr_symlinks.
4953
4954         * url.c (convert_links): Print verbose message.
4955
4956 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
4957
4958         * http.c (http_loop): Reset newloc in the beginning of function;
4959         would cause FMR in retrieve_url.
4960
4961 1996-11-23  Hrvoje Niksic  <hniksic@srce.hr>
4962
4963         * recur.c (convert_all_links): Find the URL of each HTML document,
4964         and feed it to get_urls_html; would bug out.
4965         (convert_all_links): Check for l2 instead of dl; removed dl.
4966
4967         * url.c (convert_links): Don't refer to freed newname.
4968
4969         * recur.c (recursive_retrieve): Add this_url to urls_downloaded.
4970
4971         * main.c (main): Print the OS_TYPE in the debug output, too.
4972
4973         * recur.c (recursive_retrieve): Check for opt.delete_after.
4974
4975         * main.c (main): New option delete-after.
4976
4977         * init.c (setval): Cleaned up.
4978
4979 1996-11-21  Hrvoje Niksic  <hniksic@srce.hr>
4980
4981         * Makefile.in (wget): Make `wget' the default target.
4982
4983         * ftp.c (ftp_loop_internal): Move noclobber checking out of the
4984         loop.
4985         (ftp_retrieve_list): Warn about non-matching sizes.
4986
4987         * http.c (http_loop): Made -nc non-dependent on opt.recursive.
4988
4989         * init.c (setnum): Renamed from setnuminf; New argument flags.
4990         (setval): Use it.
4991
4992         * main.c (main): Sorted the options.
4993         (main): New option --wait.
4994
4995 1996-11-21  Shawn McHorse  <riffraff@txdirect.net>
4996
4997         * html.c (htmlfindurl): Reset s->in_quote after getting out of
4998         quotes.
4999
5000 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
5001
5002         * version.c: Changed version to 1.4.2.
5003
5004 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
5005
5006         * version.c: Released 1.4.1.
5007
5008         * html.c (html_quote_string): New function.
5009         (ftp_index): Use it.
5010         (htmlfindurl): A more gentle ending debug message.
5011
5012         * ftp.c (ftp_loop): Check for opt.htmlify.
5013
5014         * init.c: New command htmlify.
5015
5016         * ftp.c (getftp): Nicer error messages, with `'-encapsulated
5017         strings.
5018         (ftp_loop): Print size of index.html.
5019
5020         * init.c (setval): Implement "styles".
5021
5022         * main.c (main): New option dotstyle.
5023
5024 1996-11-19  Hrvoje Niksic  <hniksic@srce.hr>
5025
5026         * ftp.c (getftp): Close the master socket in case of errors, after
5027         bindport().
5028
5029         * connect.c (bindport): Initialize msock to -1.
5030
5031         * ftp.c (getftp): Initialize dtsock to -1.
5032
5033         * connect.c (closeport): Don't close sock if sock == -1.
5034
5035 1996-11-18  Hrvoje Niksic  <hniksic@srce.hr>
5036
5037         * init.c (setnuminf): Nuked default value -- just leave unchanged.
5038         (setval): Don't send default values.
5039         (defaults): Use DEFAULT_TIMEOUT -- aaargh.
5040
5041         * options.h (struct options): Use long for dot_bytes.
5042
5043         * init.c (setquota): Renamed to setbytes.
5044         (setval): Use setbytes on DOTBYTES.
5045
5046 1996-11-17  Hrvoje Niksic  <hniksic@srce.hr>
5047
5048         * ftp.c (getftp): Initialize con->dltime.
5049
5050         * recur.c (recursive_retrieve): Use same_host instead of
5051         try_robots; simply load robots_txt whenever the host is changed.
5052         (recursive_retrieve): Free forbidden before calling parse_robots.
5053
5054 1996-11-16  Hrvoje Niksic  <hniksic@srce.hr>
5055
5056         * retr.c (show_progress): Use them.
5057
5058         * options.h (struct options): New options dot_bytes, dots_on_line
5059         and dot_spacing.
5060
5061 1996-11-16  Mark Boyns  <boyns@sdsu.edu>
5062
5063         * recur.c (recursive_retrieve): Retrieve directories regardless of
5064         acc/rej rules; check for empty u->file.
5065
5066 1996-11-14  Hrvoje Niksic  <hniksic@srce.hr>
5067
5068         * init.c (setval): Use it.
5069
5070         * utils.c (merge_vecs): New function.
5071
5072         * init.c (setval): Reset the list-type functions when encountering
5073         "".
5074
5075 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
5076
5077         * recur.c (recursive_retrieve): Use base_url instead of this_url
5078         for no_parent.
5079
5080 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
5081
5082         * html.c (htmlfindurl): Reset s->in_quote after exiting the quote.
5083
5084 1996-11-13  Hrvoje Niksic  <hniksic@srce.hr>
5085
5086         * utils.c (sepstring): Rewrote; don't use strtok.
5087
5088         * recur.c (recursive_retrieve): Enter assorted this_url to slist
5089         when running the first time.
5090         (retrieve_robots): Warn to ignore errors when robots are loaded.
5091
5092         * utils.c (load_file): Moved from url.c.
5093
5094         * http.c: Made static variables const too in h* functions.
5095
5096         * main.c (main): Renamed --continue-ftp to --continue.
5097
5098         * recur.c (recursive_retrieve): Use it.
5099
5100         * utils.c (frontcmp): New function.
5101
5102         * url.c (accdir): New function.
5103
5104         * html.c (htmlfindurl): Recognize <area href=...>.
5105
5106         * ftp.c (ftp_retrieve_dirs): Implemented opt.includes.
5107
5108         * init.c (setval): Free the existing opt.excludes and
5109         opt.includes, if available.
5110
5111         * main.c (main): New option -I.
5112
5113 1996-11-12  Hrvoje Niksic  <hniksic@srce.hr>
5114
5115         * ftp.c (ftp_retrieve_glob): Do not weed out directories.
5116
5117         * version.c: Changed version to 1.4.1.
5118
5119 1996-11-11  Hrvoje Niksic  <hniksic@srce.hr>
5120
5121         * version.c: Released 1.4.0.
5122
5123 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
5124
5125         * main.c (main): Free com and val after parse_line.
5126         (printhelp): Reorder the listing.
5127
5128         * http.c: More robust header parsing.
5129
5130         * http.c: Allow any number of spaces, or no spaces, precede ':'.
5131         (hskip_lws): New function.
5132         (haccepts_bytes): New function.
5133         (gethttp): Use it.
5134
5135         * init.c (setval): Check header sanity.
5136         (setval): Allow resetting of headers.
5137
5138 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
5139
5140         * http.c (http_loop): Don't use has_wildcards.
5141
5142         * http.c (gethttp): Free all_headers -- would leak.
5143
5144         * recur.c (recursive_retrieve): Initialize depth to 1 instead of
5145         0 -- this fixes a long-standing bug in -rl.
5146
5147 1996-11-09  Hrvoje Niksic  <hniksic@srce.hr>
5148
5149         * ftp.c: Use -1 as "impossible" value for con->fd.
5150
5151         * url.h (URL_SEPARATOR): Don't treat `*' and `+' as separators.
5152
5153         * init.c (parse_line): Use isalpha.
5154
5155         * ftp-unix.c: Use HAVE_UNISTD_H.
5156
5157         * mtch.c (has_wildcards): Don't match \.
5158
5159         * http.c (http_loop): Warn on HTTP wildcard usage.
5160
5161 1996-11-08  Hrvoje Niksic  <hniksic@srce.hr>
5162
5163         * url.c (url_filename): Do not create numbered suffixes if
5164         opt.noclobber -- would bug out on -nc.
5165
5166 1996-11-07  Hrvoje Niksic  <hniksic@srce.hr>
5167
5168         * recur.c (parse_robots): Don't chuck out the commands without
5169         arguments (`Disallow:<empty>' didn't work).
5170         (parse_robots): Compare versions lowercase.
5171         (parse_robots): Match on base_version, not version_string!
5172         (parse_robots): Handle comments properly.
5173         (parse_robots): Match versions in a sane way.
5174
5175         * init.c: Print nicer error messages.
5176
5177         * version.c: Changed version to 1.4.0.
5178
5179 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
5180
5181         * version.c: Released 1.4.0-test2.
5182
5183         * init.c (run_wgetrc): Close fp.
5184
5185         * ftp.c (ftp_retrieve_dirs): Allocate the correct length for
5186         u->dir.
5187
5188 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
5189
5190         * init.c (setquota): Allow inf as quota specification.
5191
5192 1996-11-05  Hrvoje Niksic  <hniksic@srce.hr>
5193
5194         * ftp.c (ftp_retrieve_dirs): Return QUOTEXC if quota exceeded.
5195         (ftp_retrieve_glob): Return QUOTEXC on quota exceeded.
5196
5197         * main.c (main): Check for quota by comparison with downloaded
5198         stuff, not from status.
5199
5200         * connect.c (select_fd): Should compile on HPUX without warnings now.
5201
5202         * ftp.c (ftp_get_listing): Check whether ftp_loop_internal
5203         returned RETROK.
5204
5205 1996-11-04  Hrvoje Niksic  <hniksic@srce.hr>
5206
5207         * ftp.c (ftp_retrieve_glob): Print the pattern nicely.
5208         (getftp): Return FTPRETRINT on control connection error.
5209
5210         * html.c (htmlfindurl): Recognize <embed src=...> and
5211         <bgsound src=...>.
5212         (ftp_index): Handle username and password correctly.
5213
5214         * main.c (main): Made `-np' a synonim for --no-parent.
5215
5216 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
5217
5218         * ftp.c (ftp_loop): Check for opt.ftp_glob too before calling
5219         ftp_retrieve_glob.
5220
5221         * version.c: Changed version to 1.4.0-test2.
5222
5223 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
5224
5225         * version.c: Released 1.4.0-test1.
5226
5227         * url.c (str_url): Don't use sprintf when creating %2F-prefixed
5228         directory.
5229         (convert_links): Removed definition of make_backup.
5230
5231         * http.h: Removed definition of MAX_ERROR_LENGTH.
5232
5233         * host.c (ftp_getaddress): Check for "(none)" domains.
5234
5235         * ftp.c (ftp_retrieve_dirs): Docfix.
5236
5237         * http.c (gethttp): Use ou->referer instead of u->referer.
5238
5239         * retr.c (retrieve_url): Reset u to avoid freeing pointers twice;
5240         this was known to cause coredumps on Linux.
5241
5242         * html.c (ftp_index): Cast the argument to local_time to time_t *.
5243
5244 1996-11-01  Hrvoje Niksic  <hniksic@srce.hr>
5245
5246         * connect.c (select_fd): Use exceptfds -- once and for all.
5247
5248         * retr.c (retrieve_from_file): Free filename after
5249         recursive_retrieve.
5250         (retrieve_from_file): Send RFIRST_TIME to recursive_retrieve on
5251         first-time retrieval.
5252         (retrieve_from_file): Return uerr_t; new argument, count.
5253         (retrieve_from_file): Break on QUOTEXC.
5254
5255         * init.c (setquota): Fixed a bug that caused rejection of
5256         non-postfixed values..
5257
5258 1996-10-30  Hrvoje Niksic  <hniksic@srce.hr>
5259
5260         * version.c: Changed name to wget.
5261
5262         * connect.c (iread): Smarter use of select.
5263         (select_fd): Set errno on timeout.  If not timeout, return 1
5264         instead of 0.
5265
5266 1996-10-29  Hrvoje Niksic  <hniksic@srce.hr>
5267
5268         * ftp.c (ftp_loop_internal): Don't use con->cmd before
5269         establishing it.
5270
5271 1996-10-26  Hrvoje Niksic  <hniksic@srce.hr>
5272
5273         * http.c (gethttp): Send correct referer when using proxy.
5274         (gethttp): Use struct urlinfo ou to access the relevant data; send
5275         correct authorization in all cases.
5276
5277         * host.c (same_host): Use skip_uname to skip username and
5278         password.
5279
5280         * url.c (skip_uname): New function.
5281         (parseurl): Use it.
5282
5283         * host.c (same_host): Do not assume HTTP -- same_host should now
5284         be totally foolproof.
5285
5286         * url.c (skip_proto): New function.
5287         (parse_uname): Use it.
5288
5289         * http.c (gethttp): Create local user and passwd from what is
5290         given.
5291
5292         * url.c (parseurl): Check for HTTP username and password too.
5293
5294 1996-10-25  Hrvoje Niksic  <hniksic@srce.hr>
5295
5296         * config.h.in: Removed #define gethostbyname R...
5297
5298 1996-10-22  Hrvoje Niksic  <hniksic@srce.hr>
5299
5300         * version.c: Changed version to 1.4.0-test1.
5301
5302 1996-10-21  Hrvoje Niksic  <hniksic@srce.hr>
5303
5304         * version.c: "Released" 1.4b29.
5305
5306         * recur.c (recursive_retrieve): Check for no_parent.
5307
5308         * init.c (setval): Option update.
5309
5310         * main.c (main): New option no-parent.
5311
5312         * options.h (struct options): New variable no_parent.
5313
5314         * recur.c (recursive_retrieve): Only files are checked for
5315         opt.accepts and opt.rejects.
5316         (recursive_retrieve): Check directories for opt.excludes.
5317         (recursive_retrieve): Make the dir absolute when checking
5318         opt.excludes.
5319
5320         * html.c (htmlfindurl): Recognize <applet code=...> and <script
5321         src=...>
5322
5323 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
5324
5325         * ftp.c (getftp): Do not line-break assert entries at all.
5326         (ftp_retrieve_dirs): docfix.
5327
5328         * connect.c (select_fd): Use fd + 1 as nfds.
5329
5330         * version.c: Changed version to 1.4b29.
5331
5332 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
5333
5334         * version.c: "Released" 1.4b28.
5335
5336         * ftp.c (ftp_loop_internal): Check whether f->size == len and
5337         don't continue the loop if it is.
5338         (ftp_get_listing): Remove list_filename on unsuccesful loop.
5339
5340 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
5341
5342         * ftp.c (ftp_loop_internal): Use strcpy to initialize tmp.
5343         (getftp): Do not use multiline assert.
5344
5345         * http.c (hparsestatline): Use mjr and mnr instead of major and
5346         minor, which don't compile on Ultrix.
5347         (http_loop): Use strcpy() to initialize tmp.
5348
5349         * all: Geturl -> Fetch
5350
5351 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
5352
5353         * recur.c (parse_robots): Fixed an off-by-one bug when looking for
5354         ':'.
5355
5356         * html.c (htmlfindurl): Fixed several possible off-by-one bugs by
5357         moving `bufsize &&' to the beginning of each check in for-loops.
5358
5359         * recur.c (parse_robots): Close fp on exit.
5360
5361         * url.c (mymkdir): Check for each directory before creating.
5362
5363 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
5364
5365         * version.c: Changed version to 1.4b28.
5366
5367 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
5368
5369         * version.c: "Released" 1.4b27.
5370
5371         * init.c (parse_line): Use isspace.
5372         (parse_line): Free *com on all errors.
5373
5374         * ftp.c (ftp_loop): Change FTPOK to RETROK before exiting.
5375         (delelement): Use next instead of f->next and prev instead of
5376         f->prev.
5377         (delelement): Free the members of the deleted element.
5378
5379         * http.c (http_loop): Do not return RETROK on code != 20x.
5380
5381         * init.c (cleanup): Free opt.user_header.
5382         (cleanup): Free opt.domains.
5383
5384         * url.c (freelists): Moved to cleanup().
5385
5386         * http.c (hparsestatline): Docfix.
5387
5388         * main.c (main): Return with error status on unsuccesful
5389         retrieval.
5390
5391         * init.c (setval): Do not remove listing when mirroring.
5392
5393         * url.c (url_filename): Use opt.fileprefix.
5394
5395         * ftp.c (ftp_get_listing): Use url_filename to get filename for
5396         .listing.
5397
5398         * main.c (main): New option: -rn.
5399
5400 1996-10-15  Hrvoje Niksic  <hniksic@srce.hr>
5401
5402         * Makefile.in (RM): Added RM = rm -f.
5403
5404         * host.c (clean_hosts): New function.
5405         (free_hlist): Just free the list, no reset.
5406
5407         * version.c: Changed version to 1.4b27.
5408
5409 1996-10-13  Hrvoje Niksic  <hniksic@srce.hr>
5410
5411         * version.c: "Released" 1.4b26.
5412
5413         * retr.c (retrieve_from_file): If call get_urls_html with
5414         opt.spider to make it silent in spider mode.
5415
5416         * url.c (str_url): Use CLEANDUP instead of URL_CLEANSE.
5417
5418         * url.h (CLEANDUP): New macro.
5419
5420         * http.c (gethttp): Fixed a bug that freed location only when it
5421         was NULL.
5422
5423         * retr.c (retrieve_url): Free url if it will not be stored,
5424         i.e. newloc is NULL.
5425
5426         * html.c (htmlfindurl): Handle exiting from quotes correctly; the
5427         old version would bug out on <a href="x#a"href="y">.
5428
5429         * html.h (state_t): New member in_quote.
5430
5431         * html.c (htmlfindurl): Free s->attr at the beginning of
5432         attr-loop.
5433
5434         * recur.c (recursive_retrieve): Recognize RCLEANUP.
5435         (tried_robots): Make hosts a global variable.
5436         (recursive_retrieve): Free constr after URL host optimization.
5437         (tried_robots): Free urlinfo before exiting.
5438
5439         * utils.c (free_slist): New function.
5440
5441         * recur.c (recursive_retrieve): Use flags to add cleanup
5442         possibility.
5443
5444         * main.c (main): Free filename after recursive_retrieve.
5445
5446         * http.c (gethttp): Store successful responses too.
5447
5448 1996-10-12  Hrvoje Niksic  <hniksic@srce.hr>
5449
5450         * all: Constified the whole source.  This required some minor
5451         changes in many functions in url.c, possibly introducing bugs -- I
5452         hope not.
5453
5454         * ftp-basic.c: Removed last_respline.
5455
5456         * http.c (gethttp): Free type.
5457
5458         * host.c (same_host): Free real1 and real2.
5459
5460         * main.c (main): New option --spider.
5461
5462         * retr.c (get_contents): Don't reset errno.
5463
5464         * main.c (main): Sorted the options.
5465
5466         * connect.c (iread): Set errno to ETIMEDOUT only if it was left
5467         uninitialized by select().
5468
5469         * http.c (http_loop): Print the time when the connection is
5470         closed.
5471         (gethttp): Debug-print the HTTP request.
5472
5473 1996-10-11  Hrvoje Niksic  <hniksic@srce.hr>
5474
5475         * connect.c (iread): Do not try reading after timeout.
5476
5477         * main.c (main): Would bug out on -T.
5478
5479         * connect.c (select_fd): Do not use exceptfds.
5480         (iread): Set ETIMEDOUT on select_fd <= 0.
5481
5482         * version.c: Changed version to 1.4b26.
5483
5484 1996-10-10  Hrvoje Niksic  <hniksic@srce.hr>
5485
5486         * version.c: "Released" 1.4b25.
5487
5488         * ftp-unix.c (ftp_parse_unix_ls): Ignore lines without file name
5489         or link name.
5490
5491         * http.c (gethttp): Add errcode to struct hstat.
5492         (http_loop): Use it.
5493
5494         * url.c (no_proxy_match): Simplify using char** for no_proxy.
5495
5496         * options.h (struct options): Make opt.no_proxy a vector.
5497
5498         * utils.c (sepstring): Use !*s instead of !strlen(s).
5499
5500         * init.c (setval): Set opt.maxreclevel to 0 on --mirror.
5501         (getperms): Use ISODIGIT instead of isdigit.
5502
5503         * ftp.c (getftp): Print time.
5504
5505         * main.c (main): Use legible output of downloaded quantity.
5506
5507         * ftp.c (getftp): Use elapsed_time().
5508         (ftp_loop_internal): Use rate().
5509
5510         * http.c (http_loop): Add download ratio output; Use rate().
5511
5512         * utils.c (rate): New function.
5513
5514 1996-10-09  Hrvoje Niksic  <hniksic@srce.hr>
5515
5516         * http.c (http_loop): Use timer.
5517
5518         * ftp.c: Split to ftp-basic.c and ftp.c
5519
5520         * utils.c (reset_timer): New function.
5521         (elapsed_time): New function.
5522
5523         * retr.c (show_progress): Make bytes_in_line and offs long; should
5524         work on 16-bit machines.
5525
5526 1996-10-08  Hrvoje Niksic  <hniksic@srce.hr>
5527
5528         * url.c (in_acclist): New argument backward.
5529
5530         * ftp.c (ftp_retrieve_glob): Use acceptable() to determine whether
5531         a file should be retrieved according to suffix.
5532         (ftp_get_listing): Check the return value of unlink; Do not call
5533         ftp_retrieve_dirs if depth reached maxreclevel.
5534         (ftp_retrieve_dirs): Check whether the directory is in
5535         exclude-list.
5536
5537         * main.c (main): Print the version number at the beginning of
5538         DEBUG output.
5539         (main): Use strrchr when creating exec_name.
5540
5541         * ftp.c (ftp_retrieve_glob): Do not close control connection.
5542
5543         * version.c: Changed version to 1.4b25.
5544
5545 1996-10-07  Hrvoje Niksic  <hniksic@srce.hr>
5546
5547         * version.c: "Released" 1.4b24.
5548
5549         * Makefile.in: Rewrite.
5550
5551         * ftp.c (ftp_loop_internal): Likewise.
5552
5553         * retr.c (time_str): Check for failed time().
5554
5555         * html.c (htmlfindurl): Recognize <fig src> and <overlay src> from
5556         HTML3.0.
5557
5558         * retr.c (time_str): Return time_t *.
5559
5560         * connect.c (bindport): Close msock on unsuccesful bind.
5561         (bindport): The same for getsockname and listen.
5562
5563         * retr.c (retrieve_url): Allow any number of retries on
5564         proxy.
5565
5566         * http.c (gethttp): Do not treat errno == 0 as timeout.
5567         (http_loop): Likewise.
5568         (http_loop): Cosmetic changes.
5569
5570         * connect.c (iread): Set errno to ETIMEDOUT in case of timeout.
5571
5572         * retr.c (get_contents): Reset errno.
5573
5574         * ftp.c (getftp): Minor fixes.
5575
5576 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
5577
5578         * http.c: Do not use backups.
5579
5580         * geturl.1 (WARNING): Warn that man-page could be obsolete.
5581
5582         * getopt.c (getopt_long): Moved to getopt.c
5583
5584         * geturl.texi: Enhanced.
5585
5586         * main.c (main): Use it.
5587
5588         * recur.c (convert_all_links): New function.
5589
5590         * utils.c (add_slist): New argument flags.
5591
5592         * recur.c (recursive_retrieve): Update a list of downloaded URLs.
5593         (parse_robots): Do not chuck out empty value fields.
5594         (parse_robots): Make yourself welcome on empty Disallow.
5595
5596         * version.c: Changed version to 1.4b24.
5597
5598 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
5599
5600         * version.c: "Released" 1.4b23.
5601
5602         * ftp.c (ftp_loop_internal): Get the time after getftp.
5603
5604         * Makefile.in (install.info): New target.
5605         (install): Use it.
5606
5607         * http.c (http_loop): Fix output when doing -O.
5608
5609 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
5610
5611         * geturl.texi: New file.
5612
5613         * main.c (main): Do not print the warnings and download summary if
5614         opt.quiet is set.
5615
5616         * version.c: Changed version to 1.4b23.
5617
5618 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
5619
5620         * "Released" 1.4b22.
5621
5622         * atotm.c (atotm): Use True and False instead of TRUE and FALSE,
5623         to avoid redefinition warnings.
5624
5625         * host.c (store_hostaddress): Use memcpy() to copy the address
5626         returned by inet_addr.
5627
5628         * version.c: Changed version to 1.4b22.
5629
5630 1996-10-04  Hrvoje Niksic  <hniksic@srce.hr>
5631
5632         * version.c: "Released" 1.4b21.
5633
5634         * ftp-unix.c (ftp_parse_ls): Renamed to ftp_parse_unix_ls.
5635
5636         * ftp.c (ftp_port): Use conaddr.
5637         (getftp): Print the file length.
5638         (ftp_retrieve_list): Check the stamps of plain files only.
5639
5640         * connect.c (closeport): Do not call shutdown().
5641         (conaddr): New function.
5642
5643         * html.c (ftp_index): Made it dfp-aware.
5644
5645         * init.c (cleanup): New name of freemem. Close opt.dfp.
5646
5647         * ftp.c (getftp): Use opt.dfp if it is set.
5648
5649         * ftp-unix.c (ftp_parse_ls): Recognize time in h:mm format.
5650
5651         * ftp.c (ftp_retrieve_dirs): Fixed a bug that caused incorrect
5652         CWDs to be sent with recursive FTP retrievals.
5653
5654 1996-10-03  Hrvoje Niksic  <hniksic@srce.hr>
5655
5656         * recur.c (parse_robots): Made it more compliant with "official"
5657         specifications.
5658
5659         * http.c: New function.
5660
5661         * ftp-unix.c (ftp_parse_ls): Added better debug output.
5662
5663         * ftp.c (getftp): Print out the LIST in case of
5664         opt.print_server_response.
5665
5666         * version.c: Changed version to 1.4b21.
5667
5668 1996-10-01  Hrvoje Niksic  <hniksic@srce.hr>
5669
5670         * version.c: "Released" 1.4b20.
5671
5672         * README: Update.
5673
5674         * http.c (gethttp): Preset lengths of various headers instead of
5675         calculating them dynamically.
5676         (gethttp): Check for 206 partial contents.
5677
5678 1996-09-30  Hrvoje Niksic  <hniksic@srce.hr>
5679
5680         * configure.in: Set SYSTEM_GETURLRC to $libdir/geturlrc
5681
5682         * http.c (gethttp): Send the port number in the Host: header.
5683
5684 1996-09-29  Hrvoje Niksic  <hniksic@srce.hr>
5685
5686         * http.c (gethttp): Send host: header.
5687         (gethttp): Add the possibility of user-defined headers.
5688         (gethttp): Move decision about pragma: no-cache to http_loop,
5689         where it belongs.
5690         (gethttp): Pass a struct instead of enormous argument list.
5691         (http_loop): Use a new, fancier display format.
5692         (ftp_loop): Likewise.
5693
5694         * main.c: (hangup): Turn off buffering of the new log file.
5695
5696         * install-sh: Likewise.
5697
5698         * config.sub: Replace with the one in autoconf-2.10
5699
5700         * geturl.1: Update.
5701
5702         * init.c: New options httpuser and httppasswd.
5703
5704         * http.c: (base64_encode_line): New function.
5705         (gethttp): Send authentication.
5706
5707         * connect.c (make_connection): Use store_hostaddress.
5708
5709 1996-09-28  Hrvoje Niksic  <hniksic@srce.hr>
5710
5711         * host.c (store_hostaddress): New function.
5712
5713         * NEWS: Update.
5714
5715         * http.c (hgetrange): New function.
5716         (gethttp): Use ranges.
5717
5718         * utils.c (numdigit): Accept long instead of int.
5719
5720         * http.c (http_loop): Add restart capabilities.
5721
5722         * ftp.c (ftp_retrieve_glob): Fixed a bug that could cause matchres
5723         being used uninitialized.
5724         (ftp_retrieve_list): Similar fix.
5725
5726         * host.c (add_hlist): Fixed a bug that could cause cmp being used
5727         uninitialized.
5728
5729         * url.c (construct_relative): New function.
5730
5731         * recur.c (recursive_retrieve): Use it.
5732
5733         * retr.c (convert_links): New function.
5734
5735 1996-09-27  Hrvoje Niksic  <hniksic@srce.hr>
5736
5737         * url.c (free_urlpos): New function.
5738
5739         * recur.c (recursive_retrieve): Adapt.
5740
5741         * url.c (get_urls_html): Return a linked list instead of a vector.
5742
5743         * url.c (get_urls_file): Return a linked list instead of a vector.
5744
5745         * geturl.1: Update.
5746
5747         * http.c (gethttp): Implement it.
5748
5749         * init.c (setval): New option: SAVEHEADERS
5750
5751         * ftp.c (ftp_loop_internal): Do not set restval if listing is to
5752         be retrieved. Lack of this test caused bugs when the connection
5753         was lost during listing.
5754
5755         * retr.c (retrieve_url): Fixed a bug that caused
5756         coredumps. *newloc is now reset by default.
5757         (retrieve_url): Lift the twenty-tries limit on proxies.
5758
5759         * version.c: Changed version to 1.4b20.
5760
5761 1996-09-20  Hrvoje Niksic  <hniksic@srce.hr>
5762
5763         * version.c: "Released" 1.4b19.
5764
5765 1996-09-19  Hrvoje Niksic  <hniksic@srce.hr>
5766
5767         * ftp.c (ftp_loop_internal): Renamed from ftp_1fl_loop.
5768         (getftp): Changed prototype to accept ccon *.
5769
5770 1996-09-17  Hrvoje Niksic  <hniksic@srce.hr>
5771
5772         * ftp.c (ftp_retrieve_list): Fixed a bug that caused setting
5773         incorrect values to files pointed to by symbolic links.
5774         (ftp_1fl_loop): Do not count listings among the downloaded URL-s.
5775
5776 1996-09-16  Hrvoje Niksic  <hniksic@srce.hr>
5777
5778         * url.c (mkstruct): Do not prepend "./" in front of a pathname.
5779
5780         * main.c (main): New option: --user-agent.
5781
5782         * geturl.1: Ditto.
5783
5784         * init.h: Ditto.
5785
5786         * init.c (setval): Ditto.
5787
5788         * main.c (main): Rename "server-headers" to "server-response".
5789
5790         * ftp-unix.c (ftp_parse_ls): Check for asterisks at the end of
5791         executables in 'ls -F' listings.
5792
5793 1996-09-15  Hrvoje Niksic  <hniksic@srce.hr>
5794
5795         * url.c (parseurl): Remove realloc() and sprintf().
5796         (str_url): Get rid of sprintf().
5797
5798         * recur.c (recursive_retrieve): Enable FTP recursion through proxy
5799         servers.
5800
5801         * url.h (URL_CLEANSE): Made it else-resistant.
5802         (USE_PROXY): New macro.
5803
5804 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
5805
5806         * NEWS: Update.
5807
5808         * version.c: Changed version to 1.4b19.
5809
5810 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
5811
5812         * version.c: "Released" 1.4b18.
5813
5814         * url.c: Made it reallocate space exponentially.
5815
5816 1996-09-14  Drazen Kacar  <dave@fly.cc.fer.hr>
5817
5818         * html.c (htmlfindurl): Added <frame src> and <iframe src> among
5819         the list of stuff to fetch.
5820
5821 1996-09-13  Hrvoje Niksic  <hniksic@srce.hr>
5822
5823         * url.c (get_urls_html): Fixed a bug that caused SIGSEGV's with
5824         -Fi.
5825
5826         * html.c (htmlfindurl): Rewrite.
5827
5828         * http.c (gethttp): Use opt.proxy_cache.
5829
5830         * main.c (main): Added --cache option.
5831
5832         * ftp.c (ftp_response): Print server response if opt.print_server
5833         response is set.
5834         (getftp): Print newlines after each request if the server response
5835         is to be printed.
5836         (ftp_response): Copy the last response line to last_respline.
5837
5838         * http.c (gethttp): Add Pragma: nocache for retried
5839         proxy-retrievals.
5840
5841         * ftp.c (getftp): Use it.
5842
5843         * retr.c (buf_discard): New function.
5844
5845         * ftp.c (ftp_response): Use buf_readchar().
5846         (getftp): Flush the control connection buffer before calling
5847         get_contents().
5848
5849         * retr.c (buf_readchar): New function.
5850         (buf_flush): New function.
5851         (get_contents): Use buf_readchar() instead of read(x, x, 1).
5852         (get_contents): Use buf_flush.
5853
5854 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
5855
5856         * ftp.c: Incorporate changes to ftp_response.
5857
5858         * ftp.c (ftp_response): Allocate the server response dynamically,
5859         as in read_whole_line and fetch_next_header.
5860
5861         * utils.c (read_whole_line): Fixed a bug that prevented reading
5862         the last line if it is not \n-terminated. Also fixed a possible
5863         memory overflow.
5864
5865         * http.c (fetch_next_header): Return malloc-ed string as large as
5866         needed.
5867         (gethttp): Use new fetch_next_header.
5868
5869 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
5870
5871         * http.c (hgetlen): Compute the header length the first time only.
5872         (hgettype): Ditto.
5873         (hgetlocation): Ditto.
5874         (hgetmodified): Ditto.
5875
5876 1996-09-11  Hrvoje Niksic  <hniksic@srce.hr>
5877
5878         * sample.geturlrc: Update.
5879
5880 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
5881
5882         * http.c (http_loop): Ditto.
5883
5884         * ftp.c (getftp): Open the output file as binary.
5885
5886         * version.c: Changed version to 1.4b18.
5887
5888 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
5889
5890         * version.c: "Released" 1.4b17.
5891
5892         * ftp-unix.c (ftp_parse_ls): If unable to open file, return NULL
5893         instead of failed assertion.
5894
5895 1996-09-09  Hrvoje Niksic  <hniksic@srce.hr>
5896
5897         * ftp.c (ftp_get_listing): Add a numbered suffix to LIST_FILENAME
5898         if a file of that name already exists.
5899
5900 1996-09-05  Hrvoje Niksic  <hniksic@srce.hr>
5901
5902         * ftp.c (ftp_1fl_loop): Handler FTPPORTERR and FOPENERR correctly.
5903
5904         * config.h.in: Define gethostbyname as Rgethostbyname when using
5905         Socks.
5906
5907         * configure.in: Check for -lresolv if using Socks.
5908
5909         * version.c: Changed version to 1.4b17.
5910
5911 1996-07-15  Hrvoje Niksic  <hniksic@srce.hr>
5912
5913         * version.c: "Released" 1.4b16.
5914
5915         * http.c (gethttp): More intelligent check for first line of HTTP
5916         response.
5917         (gethttp): Would bug out on time-stamping.
5918
5919         * version.c: Changed version to 1.4b16.
5920
5921 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
5922
5923         * version.c: Released 1.4b15.
5924
5925         * http.c (http_loop): Print \n after the loop entry, not before.
5926
5927         * url.c (url_filename): Use ISDOT.
5928
5929         * url.h (ISDOT): New macro.
5930
5931         * recur.c (recursive_retrieve): Change only opt.recursive for
5932         following FTP.
5933
5934 1996-07-11  Antonio Rosella <antonio.rosella@agip.it>
5935
5936         * socks/geturl.cgi: Fixed version No.
5937
5938         * socks/download-netscape.html: Ditto.
5939
5940         * socks/download.html: Changed socks.html to download.html.
5941
5942 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
5943
5944         * url.c (url_filename): Check for opt.dirstruct instead for
5945         opt.recursive && opt.dirstruct.
5946
5947         * init.c (defaults): Ditto.
5948         (defaults): Reset dirstruct by default.
5949         (setval): Set opt.dirstruct whenever setting recursive.
5950
5951         * init.h: Removed FORCEDIRHIER.
5952
5953         * INSTALL: Added -L to socks-description.
5954
5955         * version.c: Changed version to 1.4b15.
5956
5957 1996-07-10  Hrvoje Niksic  <hniksic@srce.hr>
5958
5959         * version.c: "Released" 1.4b14.
5960
5961         * geturl.1: Update AUTHOR to include Rosella as contributor.
5962
5963         * NEWS: Update.
5964
5965         * socks/geturl.cgi: Simplified command creation, nuked <blink>.
5966
5967         * socks/geturl.cgi: Wrap nutscape extensions within if $netscape.
5968         (cal_time): Fix == to eq.
5969
5970         * socks/geturl.cgi: GPL-ized with permission of A. Rosella.
5971
5972         * geturl.1 (hostname): Moved URL CONVENTIONS to the beginning.
5973
5974         * Makefile.in: Use @VERSION@.
5975
5976         * configure.in: Check version from version.c.
5977
5978         * socks/geturl.cgi: Changed /pub/bin/perl to /usr/bin/perl.
5979
5980         * socks/download.html: Created from download-netscape.html, made
5981         HTML-2.0 compliant.
5982
5983         * recur.c (recursive_retrieve): Set opt.force_dir_hier when
5984         following FTP links from recursions.
5985
5986 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
5987
5988         * url.c (mymkdir): Fixed a bug that prevented mymkdir() to create
5989         absolute directories correctly.
5990
5991         * version.c: Changed version to 1.4b14.
5992
5993 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
5994
5995         * version.c: "Released" 1.4b13.
5996
5997         * url.c (make_backup): New function.
5998
5999         * http.c (http_loop): Make a backup copy of the local file (using
6000         rename(2)) before opening it.
6001
6002         * main.c (main): Added --backups.
6003
6004         * host.c (ftp_getaddress): Bail out on failed mycuserid().
6005         (ftp_getaddress): Check for leading dot on MY_DOMAIN.
6006         (ftp_getaddress): Check for empty, null or (null) domain.
6007
6008         * url.c (get_urls_html): If this_url is NULL, the base must have a
6009         protocol.
6010         (parseurl): Use has_proto.
6011
6012         * retr.c (retrieve_url): Warn when proxy is used with more than 20
6013         retries.
6014
6015         * url.c (mkstruct): Create the directory (calling mymkdir()) only
6016         if it is not already there.
6017         (has_proto): New function.
6018         (get_urls_html): Eliminate the remaining call to findurl -- use
6019         has_proto.
6020
6021         * geturl.1: Ditto.
6022
6023         * main.c: Change -X to -x.
6024
6025         * url.c (url_filename): Simplify creation of filename if
6026         prefix_files is set.
6027         (url_filename): Simplify everything. And I do mean *everything*.
6028         (mkstruct): Add dir_prefix before hostname.
6029         (path_simplify): Fixed a bug that caused writing outside the path
6030         string in case of "." and ".." path strings.
6031
6032 1996-07-06  Hrvoje Niksic  <hniksic@srce.hr>
6033
6034         * init.c: Added --mirror.
6035
6036         * main.c (main): Added -X to force saving of directory hierarchy.
6037
6038         * ftp.c (ftp_retrieve_list): Added recursion depth counter.
6039         (ftp_retrieve_list): Check whether quota is exceeded.
6040
6041         * url.c (get_urls_html): Skip leading blanks for absolute URIs.
6042
6043         * http.c (gethttp): Use referer if present.
6044
6045         * recur.c (recursive_retrieve): Set u->referer before calling
6046         retrieve_url.
6047
6048         * url.c (newurl): Use memset to nullify the struct members.
6049         (freeurl): Free the referer field too.
6050
6051         * url.h: Added referer to urlinfo.
6052
6053         * geturl.1: Updated the manual to document some of the new features.
6054
6055         * utils.c (numdigit): Moved from url.c.
6056
6057         * README: Rewritten.
6058
6059         * config.h.in: Add the support for socks.
6060
6061         * configure.in: Add the support for socks.
6062
6063         * url.c (url_filename): If the dir_prefix is ".", work with just
6064         the file name.
6065         (url_filename): Do not look for .n extensions if timestamping if
6066         turned on.
6067
6068         * retr.c (show_progress): Skip the over-abundant restval data, and
6069         print the rest of it with ',' instead of '.'.
6070
6071 1996-07-05  Hrvoje Niksic  <hniksic@srce.hr>
6072
6073         * retr.c (show_progress): Changed second arg. to long (as it
6074         should be).
6075         (show_progress): Moved to retr.c.
6076         (get_contents): Moved to retr.c.
6077
6078         * version.c: Change version to 1.4b13.
6079
6080 1996-07-05  Hrvoje Lacko <hlacko@fly.cc.fer.hr>
6081
6082         * url.c (in_acclist): Would return after the first suffix.
6083
6084 1996-07-04  Hrvoje Niksic  <hniksic@srce.hr>
6085
6086         * version.c: "Released" 1.4b12.
6087
6088         * url.c (path_simplify): More kludgifications.
6089         (get_urls_html): Use new parameters for htmlfindurl.
6090
6091         * html.c: Removed memorizing "parser states", since the new
6092         organization does not require them.
6093
6094         * init.c (run_geturlrc): Use read_whole_line.
6095
6096         * ftp-unix.c (ftp_parse_ls): Use read_whole_line.
6097
6098         * recur.c (parse_robots): Use read_whole_line.
6099
6100         * utils.c (read_whole_line): New function.
6101
6102         * recur.c (tried_robots): Use add_slist/in_slist, *much* cleaner.
6103
6104         * host.c (ngethostbyname): Call inet_addr just once. Yet to be
6105         tested on OSF and Ultrix.
6106         (add_hlist): New function.
6107         (free_hlist): New function.
6108         (search_host): New function.
6109         (search_address): New function.
6110         (realhost): Use search_host, search_address and add_hlist.
6111         (same_host): Replaced realloc() with strdupdelim(), made
6112         case-insensitive, fixed a memory leak.
6113
6114         * html.c (ftp_index): Fixed tm_min and tm_sec to be tm_hour and
6115         tm_min, like intended.
6116
6117         * version.c: Change user agent information to
6118         Geturl/version.
6119
6120 1996-07-03  Hrvoje Niksic  <hniksic@srce.hr>
6121
6122         * utils.c: Renamed nmalloc.c to utils.c, .h likewise.
6123
6124         * url.c (acceptable): Always accept directories.
6125
6126         * ftp-unix.c (ftp_parse_ls): Support brain-damaged "ls -F"-loving
6127         servers by stripping trailing @ from symlinks and trailing / from
6128         directories.
6129
6130         * ftp.c (ftp_loop): Debugged the "enhanced" heuristics. :-)
6131
6132         * url.c (skip_url): Use toupper instead of UCASE.
6133
6134         * host.c (sufmatch): Made it case-insensitive.
6135
6136         * url.c (match_backwards_or_pattern): Fixed i == -1 to j == -1.
6137         (match_backwards): New function, instead of
6138         match_backwards_or_pattern.
6139
6140         * recur.c (recursive_retrieve): Increased performance by
6141         introducing inl, which reduces number of calls to in_slist to only
6142         one.
6143
6144         * ftp.c (ftp_loop): Enhanced the heuristics that decides which
6145         routine to use.
6146
6147         * main.c (printhelp): Removed the warranty stuff.
6148
6149 1996-07-02  Hrvoje Niksic  <hniksic@srce.hr>
6150
6151         * url.c (add_slist): Simplify.
6152         (match_backwards_or_pattern): New function.
6153         (in_acclist): Use match_backwards_or_pattern.
6154         (matches): Remove.
6155
6156 1996-06-30  Hrvoje Niksic  <hniksic@srce.hr>
6157
6158         * ftp.c (ftp_loop): Call ftp_index on empty file names, if not
6159         recursive.
6160
6161         * html.c (ftp_index): Fixed to work. Beautified the output.
6162
6163         * ftp.c (ftp_retrieve_glob): Another argument to control whether
6164         globbing is to be used.
6165         (ftp_retrieve_list): Compare the time-stamps of local and remote
6166         files to determine whether to download.
6167
6168 1996-06-29  Hrvoje Niksic  <hniksic@srce.hr>
6169
6170         * ftp.c (rel_constr): New function.
6171
6172         * retr.c (retrieve_from_file): Check for text/html before
6173         retrieving recursively.
6174
6175         * main.c (main): Check whether the file is HTML before going into
6176         recursive HTML retrieving.
6177
6178         * ftp.c (ftp_retrieve_list): Manage directories.
6179         (ftp_retrieve_glob): Pass all the file-types to ftp_retrieve_list.
6180         (ftp_1fl_loop): Fixed a bug that caused con->com to be incorrectly
6181         initialized, causing bugchecks in getftp to fail.
6182
6183         * configure.in: Check for symlink.
6184
6185         * ftp.c (ftp_retrieve_list): Added support for symlinks.
6186
6187         * version.c: "Released" 1.4b10.
6188
6189         * atotm.c (atotm): Redeclared as time_t.
6190
6191         * init.c: New variable "timestamping".
6192
6193         * main.c (main): New option 'N'.
6194
6195         * http.c (hgetlocation): Case-insensitive match.
6196         (hgetmodified): New function.
6197         (http_loop): Implement time-stamping.
6198
6199 1996-06-28  Hrvoje Niksic  <hniksic@srce.hr>
6200
6201         * version.c: Changed version to 1.4b10
6202
6203         * atotm.c: New file, from phttpd.
6204
6205         * options.h (struct options): New parameter timestamping.
6206
6207         * version.c: 1.4b9 "released".
6208
6209         * recur.c (recursive_retrieve): Used linked list (ulist) for
6210         faster storing of URLs.
6211
6212         * url.c (get_urls_html): Removed the old kludge with comparing the
6213         outputs of htmlfindurl and findurl.
6214         (get_urls_html): Added better protocol support here.
6215         (create_hash): Removed, as well as add_hash and in_hash.
6216         (addslist): New function.
6217         (in_slist): ditto
6218
6219         * version.c: Released 1.4b8, changed version to b9.
6220
6221 1996-06-27  Hrvoje Niksic  <hniksic@srce.hr>
6222
6223         * ftp.c (freefileinfo): New function.
6224         (delelement): New function.
6225
6226         * everywhere: GPL!
6227
6228         * ftp.c (ftp_loop): Use ccon.
6229         (ftp_retrieve_glob): Likewise.
6230
6231         * ftp.h: Define ccon, to define status of control connection.
6232
6233         * ftp.c (ftp_get_listing): New function.
6234         (ftp_retrieve_more): New function.
6235         (ftp_retrieve_glob): New function.
6236
6237 1996-06-25  Hrvoje Niksic  <hniksic@srce.hr>
6238
6239         * configure.in: Removed the search for cuserid().
6240
6241         * init.c (getmode): Renamed to getperms.
6242
6243 1996-06-24  Hrvoje Niksic  <hniksic@srce.hr>
6244
6245         * version.c: New version.
6246
6247         * main.c (hangup): New function, that handles hangup. Hangup
6248         signal now causes geturl to stop writing on stdout, and to write
6249         to a log file.
6250
6251         * ftp.c (getftp): "Released" 1.4b7.
6252
6253         * html.c (htmlfindurl): Ignore everything inside <head>...</head>.
6254         (ftp_index): Use fileinfo/urlinfo.
6255
6256         * ftp-unix.c (ftp_parse_ls): New function.
6257         (symperms): New function.
6258
6259         * ftp.c (ftp_1fl_loop): New function, to handle 1-file loops.
6260
6261         * retr.c (retrieve_url): Added FTP support.
6262
6263 1996-06-23  Hrvoje Niksic  <hniksic@srce.hr>
6264
6265         * geturl.h: Removed NOTFTP2HTML enum.
6266         Added DO_LOGIN, DO_CWD and DO_LIST. LIST_ONLY is obsolete.
6267
6268         * ftp.c (getftp): Resynched with urlinfo.
6269         (getftp): Removed HMTL-ization of index.html from getftp.
6270
6271         * version.c: 1.4b6 "released".
6272
6273         * options.h (options): New struct, to keep options in.
6274
6275         * http.c (http_loop,gethttp): Synched with proxy.
6276
6277         * retr.c (retrieve_url): Implemented proxy retrieval.
6278
6279         * main.c (main): Use retrieve_from_file.
6280
6281 1996-06-22  Hrvoje Niksic  <hniksic@srce.hr>
6282
6283         * retr.c (retrieve_from_file): New function.
6284
6285         * url.c (parseurl): Modified to return URLOK if all OK. Protocol
6286         can be found in u->proto.
6287
6288         * ftp.c (ftp_response): Fixed to accept multi-line responses as
6289         per RFC 959.
6290
6291         * recr.c (recursive_retrieve): Take newloc from retrieve_url.
6292
6293         * url.c (mymkdir): Removed the file of the same name, if one
6294         exists.
6295         (isfile): New function.
6296         (mkstruct): Fixed the '/' glitches.
6297         (path_simplify): Hacked to treat something/.. correctly.
6298
6299 1996-06-21  Hrvoje Niksic  <hniksic@srce.hr>
6300
6301         * http.c (gethttp): Close the socket after error in headers.
6302         (http_loop): HEOF no longer a fatal header.
6303
6304         * loop.c (retrieve_url): When dt is NULL, do not modify it. This
6305         simplifies the syntax of calling retrieve_url.
6306
6307         * recr.c (recursive_retrieve): Modified to use get_urls_html.
6308
6309         * url.c (get_urls_file): New function.
6310         (get_urls_html): New function.
6311
6312         * recr.c (recursive_retrieve): Patched up to conform to the
6313         standards.
6314
6315         * http.c (gethttp): Synched with the rest...
6316         (gethttp): Treat only CONREFUSED specially, with connection
6317         errors.
6318
6319         * init.c,geturl.1,http.c (http_loop): Removed kill_error.
6320
6321 1996-06-20  Hrvoje Niksic  <hniksic@srce.hr>
6322
6323         * http.c (http_loop): New function.
6324
6325         * loop.c: Removed *lots* of stuff from retrieve_url.
6326
6327         * url.c (parseurl): Changed to work with urlinfo. Integrated
6328         username finding and path parsing.
6329         (newurl): New function.
6330         (freeurl): New function.
6331         (mkstruct): Removed the old bogosities, made it urlinfo-compliant.
6332         (url_filename): Likewise.
6333         (path_simplify): Accept relative paths too.
6334         (opt_url): Made urlinfo-compliant, removed bogosities.
6335         (path_simplify): Expanded to accept relative paths.
6336         (str_url): A replacement for hide_url
6337         (decode_string): Fixed a bug that caused malfunctioning when
6338         encountering an illegal %.. combination.
6339         (opt_url): Removed the argument. Dot-optimizations are now default.
6340
6341         * nmalloc.c (strdupdelim): New function.
6342
6343         * url.h: Added the urlinfo structure
6344
6345 1996-06-19  Hrvoje Niksic  <hniksic@srce.hr>
6346
6347         * url.c (hide_url): Thrown out the protocol assertion. Do not
6348         change the URL if the protocol if not recognized.
6349         (findurl): Put continue instead of break.
6350
6351 1996-06-18  Hrvoje Niksic  <hniksic@srce.hr>
6352
6353         * sample.geturlrc: Changed the defaults to be commented out and
6354         harmless (previous defaults caused pains if copied to
6355         ~/.geturlrc).
6356
6357         * http.c (gethttp): Print the HTTP request in debug mode.
6358
6359         * connect.c (iread): Added EINTR check loop to select-ing
6360         too. EINTR is now correctly handled with select().
6361
6362         * TODO: new file
6363
6364 1996-05-07  Hrvoje Niksic  <hniksic@srce.hr>
6365
6366         * host.c (same_host): Made the function a little bit more
6367         intelligent regarding diversified URL syntaxes.
6368
6369         * url.c (skip_url): Spaces are now skipped after URL:
6370
6371         * Released 1.3.1 with the patch to prevent crashing when sending
6372         NULL to robot* functions and the patch to compile "out of the box"
6373         on AIX.
6374
6375         * recr.c (recursive_retrieve): Added checking whether this_url is
6376         NULL when calling the robot functions.
6377
6378         * ChangeLog: New file.