]> sjero.net Git - wget/blob - src/ChangeLog
[svn] Fix parsing alphanumerics in .wgetrc.
[wget] / src / ChangeLog
1 2005-06-28  Hrvoje Niksic  <hniksic@xemacs.org>
2
3         * init.c (parse_line): Check for alphanumerics.
4
5 2005-06-28  Hrvoje Niksic  <hniksic@xemacs.org>
6
7         * progress.c (print_percentage): Round the percentage value.
8         (dot_create): Remove unnecessary casts.
9
10 2005-06-28  Hrvoje Niksic  <hniksic@xemacs.org>
11
12         * ftp.c (getftp): Delete trailing newlines from LIST output so
13         lines don't come out with trailing \015\012 with -S.
14
15 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
16
17         * mswindows.h: Remove superfluous includes.
18
19 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
20
21         * config-post.h (alloca): Amend alloca declaration to take care of
22         all Win32 compilers, not just MSVC and MinGW.
23
24 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
25
26         * utils.c (get_grouping_data): Force separator to "." rather than
27         " " when "," is taken.
28
29 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
30
31         * wget.h (PTR_FORMAT): Cast the result of sizeof to int before
32         passing it to printf's %*.
33
34         * retr.h: Declare output_stream and output_stream_regular.
35
36         * ftp.h: Declare ftp_last_respline.
37
38         * convert.h: Declare dl_url_file_map.
39
40         * http.h: New file.
41
42 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
43
44         * cookies.c: Make cookies_now static.
45
46 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
47
48         * utils.c (human_readable): Remove intermediary cast to long; MSVC
49         has problems casting *unsigned* __int64 to double.
50
51 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
52
53         * sysdep.h: Use the system-provided fnmatch by default.
54
55 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
56
57         * http.c (mktime_from_utc): Renamed to timegm and moved to cmpt.c.
58         Don't compile it if GNU timegm is available.
59         (http_atotm): Use timegm.
60
61 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
62
63         * http.c (http_atotm): Correctly query the old locale value.
64
65 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
66
67         * config-post.h (alloca): Don't #define alloca under MinGW32,
68         which defines it in malloc.h, included from mswindows.h.
69
70 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
71
72         * utils.c (get_grouping_data): Force the use of separators in C
73         locale.
74
75 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
76
77         * main.c (i18n_initialize): Set all locale categories.
78
79         * http.c (http_atotm): Temporarily set locale to "C".
80
81 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
82
83         * http.c (gethttp): Improve "POST data file missing" error
84         message.
85
86 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
87
88         * progress.c (set_progress_implementation): Type COLON as const
89         char *.
90
91 2005-06-27  Hrvoje Niksic  <hniksic@xemacs.org>
92
93         * utils.c (with_thousand_seps): Handle negative numbers.
94
95 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
96
97         * progress.c (create_image): Mark the "eta" string for translation.
98
99 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
100
101         * html-url.c (get_urls_file): Don't explicitly set entry->next to
102         NULL since entry is already zeroed out.
103
104 2005-06-26  Gisle Vanem  <giva@bgnett.no>
105
106         * mswindows.h: Define gai_strerror under MinGW.
107
108 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
109
110         * utils.c (with_thousand_seps): Correctly implement thousand seps
111         consisting of more than one character.
112
113 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
114
115         * main.c (secs_to_human_time): Ditto.
116
117         * progress.c (create_image): Print more exact duration of very
118         short downloads.
119
120         * main.c (secs_to_human_time): Don't translate time suffixes "h",
121         "m", and "s", which are not strictly SI, but are "accepted for use
122         with SI".
123         (secs_to_human_time): Print really small intervals as 0s, not
124         0.00s.
125
126 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
127
128         * config-post.h: Replace the alloca declaration with the one from
129         the latest Autoconf manual.  This should remove a warning with GCC
130         on AIX.
131
132 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
133
134         * ftp.c (getftp): Always invoke SIZE, not only when continuing a
135         download.
136
137         * main.c (main): Ditto here.
138
139         * progress.c (create_image): When the download is finished, print
140         how long it took.
141
142 2005-06-26  Hrvoje Niksic  <hniksic@xemacs.org>
143
144         * main.c (main): Print the downloaded and quota amounts with the
145         "human_readable" function.
146
147         * ftp.c (print_length): Ditto.
148
149         * http.c (gethttp): Don't display thousand separators.
150
151         * utils.c (with_thousand_seps): Rewritten to respect locale
152         settings and to be type size agnostic.
153
154 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
155
156         * utils.c (human_readable): Divide with 1024 instead of shifting
157         so the operation can work with non-integer N.
158
159 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
160
161         * progress.c (eta_to_human): New logic for more human-readable
162         ETA.
163
164 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
165
166         * utils.c (with_thousand_seps_sum): Decrease buffer size so it
167         cannot overrun add_thousand_seps's buffer.
168
169 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
170
171         * utils.c (SPRINTF_WGINT): The correct format is %I64d, not just
172         %I64.
173
174 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
175
176         * http.c (http_loop): Don't warn about wildcards in HTTP URLs if
177         globbing isn't requested in the first place.
178
179         * retr.c (retrieve_url): Temporarily turn off globbing when
180         processing HTTP->FTP redirects.
181
182 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
183
184         * utils.c (with_thousand_seps_sum): Now defined only if
185         SUM_SIZE_INT is double.
186
187         * wget.h (SUM_SIZE_INT): Instead of bothering with long, long
188         long, __int64, and friends, simply either use wgint or double, end
189         of story.  Since we know how to print either, we no longer need
190         LARGE_INT_FMT.
191
192         * sysdeps.h (LARGE_INT): Renamed to SUM_SIZE_INT to better reflect
193         its intent, and moved to wget.h.
194
195 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
196
197         * Makefile.in: No need to clean .libs.
198
199 2005-06-25  Hrvoje Niksic  <hniksic@xemacs.org>
200
201         * cookies.c (parse_set_cookies): Cast pointer subtraction to int
202         before using it with %d; AIX compiler warns on this.
203         Reported by Jens Schleusener.
204
205 2005-06-24  Hrvoje Niksic  <hniksic@xemacs.org>
206
207         * http.c (gethttp): Don't prepend / here.
208
209         * cookies.c (cookie_handle_set_cookie): Prepend / to PATH.
210         (cookie_header): Ditto.
211
212 2005-06-24  Hrvoje Niksic  <hniksic@xemacs.org>
213
214         * init.c: opt.verbose must be declared as int.
215
216 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
217
218         * cmpt.c (strpbrk): Removed.
219         (mktime): Removed.
220         Include <time.h>.
221
222 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
223
224         * utils.c (read_file): Ditto.
225
226         * main.c (main): Use struct_fstat.
227
228         * mswindows.h (struct_fstat): Define a struct_fstat to deal with
229         the fact that Borland 5.5 has 64-bit stat, but not 64-bit fstat!
230
231 2005-06-23  Hrvoje Niksic  <hniksic@xemacs.org>
232
233         * sysdep.h: Remove code that deals with Watcom.
234
235 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
236
237         * all: Use bool instead of int and false/true instead of 0/non-0
238         for boolean variables and values.
239
240 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
241
242         * sysdep.h: Include the stdbool.h/_Bool/bool blurb from Autoconf.
243
244 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
245
246         * init.c (cmd_lockable_boolean): Removed.
247
248 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
249
250         * cookies.c (struct cookie): Use 1-bit bitfields for booleans
251         which makes the structure takes less space at no cost in
252         complexity.
253
254 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
255
256         * Makefile.in ($(OBJ)): Add the config.h dependency.
257
258 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
259
260         * openssl.c, connect.c, host.c: Replace instances of #ifdef
261         ENABLE_DEBUG if (opt.debug) {...} #endif with IF_DEBUG {...}.
262
263         * main.c: Rename the IF_DEBUG defined here to WHEN_DEBUG.
264
265         * wget.h (IF_DEBUG): New macro.
266         (DEBUGP): Define in terms of IF_DEBUG.
267
268 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
269
270         * http.c (gethttp): Only handle --set-cookies (and assert that
271         cookie jar exists) if opt.cookies is true.  Failure to do so
272         triggered the assert when --no-cookies was used and the server
273         sent a Set-Cookie header.  Ouch!
274
275 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
276
277         * connect.c (select_fd): Expect select() to exist.
278
279         * utils.c (xsleep): Always use select() as sleep fallback on
280         non-Windows platforms.
281
282         * ptimer.c: Delete the implementation of PTIMER_TIME.
283
284         * main.c: Assume existence of signal(), test for different signal
285         names instead.
286
287         * cmpt.c: Better document reasons why certain functions are
288         included.
289
290 2005-06-22  Hrvoje Niksic  <hniksic@xemacs.org>
291
292         * Makefile.in: Remove the manually maintained dependency list;
293         make all object files depend on every header.
294
295 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
296
297         * hash.c: Rename "mapping" to "cell" to avoid confusion with the
298         term "mapping" (or "map") sometimes being used for the entire hash
299         table.  Also rename "non-empty" to "occupied" for easier reading
300         of if (!NON_EMPTY (...)) ... .
301
302 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
303
304         * main.c, ptimer.c, sysdep.h, utils.c: Use #elif to simplify reading of
305         chained if-else-else-else-... statements.
306
307 2005-06-20  Hrvoje Niksic  <hniksic@xemacs.org>
308
309         * all: Return type of signal handlers is `void'.  Include signal.h
310         unconditionally.
311
312         * all: Don't explicitly cast values returned by malloc.  We no
313         longer support ancient compilers that don't declare malloc, and we
314         never supported C++ builds.
315
316 2005-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
317
318         * all: Don't declare errno.  Include both time.h and sys/time.h,
319         as long as sys/time.h exists.  Don't dereference function pointers
320         when invoking the functions they point to.
321
322         * cmpt.c (memmove): Remove function mandated by C89.
323         (strerror): Ditto.
324         (strstr): Ditto.
325
326         * all: Undo the K&R-ization changes from 2005-05-03.
327
328         * all: Remove support for K&R compilers: use C89 function
329         declarations, remove definition of PARAMS, remove support for
330         varargs, and remove ansi2knr.  Assume the presence of time.h,
331         string.h, and other headers mandated by C89.
332
333 2005-06-19  Hrvoje Niksic  <hniksic@xemacs.org>
334
335         * init.c (cmd_lockable_boolean): Don't recognize literal "2" and
336         "-1" values; unlike 0 and 1, those should never be exposed to the
337         user.  Update the error message to be more self-consistent, as
338         proposed by Benno Schulenberg.
339
340 2005-06-18  Hrvoje Niksic  <hniksic@xemacs.org>
341
342         * http.c (gethttp): Don't free "head" before using it to save
343         headers.
344
345 2005-06-18  Hrvoje Niksic  <hniksic@xemacs.org>
346
347         * http.c (gethttp): When -E is in use, check for file existence
348         after appending ".html" to the name and modify the file name if
349         necessary.
350
351 2005-06-17  Hrvoje Niksic  <hniksic@xemacs.org>
352
353         * connect.c (socket_has_inet6): Removed.
354
355         * host.c (lookup_host): Don't use the AI_ADDRCONFIG getaddrinfo
356         hint.
357
358 2005-06-16  Hrvoje Niksic  <hniksic@xemacs.org>
359
360         * init.c (cmd_lockable_boolean): Improve the error message so it
361         lists the more useful values first.
362
363 2005-06-15  Hrvoje Niksic  <hniksic@xemacs.org>
364
365         * http.c (gethttp): Also report the system error when the POST
366         data file is missing.
367
368 2005-06-15  Benno Schulenberg  <benno@nietvergeten.nl>
369
370         * ftp.c, http.c, connect.c, cookies.c, html-url.c, init.c, res.c:
371         Gettext-ize messages that were previously missed.
372
373 2005-06-15  Hrvoje Niksic  <hniksic@xemacs.org>
374
375         * host.h (ip_address): Remove the trailing comma from the type
376         enum in the no-IPv6 case.
377
378         * main.c (struct cmdline_option): Remove the trailing comma from
379         the enum.
380
381         Reported by Jens Schleusener.
382
383 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
384
385         * url.c (strpbrk_or_eos): Check for a recent GCC version before
386         using the statement-as-expression extension.
387
388 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
389
390         * http.c (gethttp): Don't attempt to "skip short body" if we're
391         issuing a HEAD request (in which case the response head is not
392         followed by a body).
393
394 2005-05-30  Hrvoje Niksic  <hniksic@xemacs.org>
395
396         * init.c (cmd_spec_header): Don't split the string along the
397         commas using cmd_vector; just append the new value using
398         vec_append instead.
399
400         * utils.c (vec_append): New function.
401
402 2005-05-27  Andreas Beckmann  <debian@abeckmann.de>
403
404         * html-url.c (tag_handle_link): Mark the content from the <link
405         src="..."> tag as expecting HTML.
406
407 2005-05-24  Hrvoje Niksic  <hniksic@xemacs.org>
408
409         * http.c (http_atotm): Document the origin of the "cookie date"
410         format.
411
412 2005-05-21  Hrvoje Niksic  <hniksic@xemacs.org>
413
414         * init.c (setval_internal): Report exact command name alongside
415         the "display name".
416
417 2005-05-18  Hrvoje Niksic  <hniksic@xemacs.org>
418
419         * cookies.c (update_cookie_field): Explicitly cast -1 to time_t to
420         cope with systems where time_t is unsigned.
421
422         * cookies.c: Remove unnecessary casts to time_t from values
423         already of that type.
424
425 2005-05-17  Hrvoje Niksic  <hniksic@xemacs.org>
426
427         * ftp.c (ftp_loop_internal): Same here.
428
429         * http.c (http_loop): Don't clobber the file when -c is specified
430         and the first attempt to retrieve the file fails.
431
432 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
433
434         * openssl.c (ssl_check_certificate): Print all issues with a
435         certificate.
436
437 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
438
439         * ftp-basic.c: Don't xfree() the line returned by ftp_response if
440         the returned code is not FTPOK.
441
442 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
443
444         * init.c (cleanup): Don't free the non-existent opt.ftp_acc.  Free
445         the SSL-related stuff.
446
447 2005-05-16  Hrvoje Niksic  <hniksic@xemacs.org>
448
449         * ftp.c (print_length): Consistently print \n at end of the
450         "Length" line.
451
452 2005-05-14  Hrvoje Niksic  <hniksic@xemacs.org>
453
454         * openssl.c (ssl_connect): Announce the beginning and the end of
455         the SSL handshake when in debug mode.
456
457         * wget.h (PTR_FORMAT): New macro for easier printing of pointer
458         values.  Use %0*lx along with PTR_FORMAT instead of %p.
459
460 2005-05-14  Hrvoje Niksic  <hniksic@xemacs.org>
461
462         * http.c (gethttp): Would forget to close the connection when
463         keep_alive was not used.
464
465 2005-05-13  Hrvoje Niksic  <hniksic@xemacs.org>
466
467         * openssl.c (pattern_match): Document the code that decides
468         whether "*" matches ".".
469
470 2005-05-12  Hrvoje Niksic  <hniksic@xemacs.org>
471
472         * ftp-ls.c (ftp_index): Use %d to print the port number, which is
473         now int.
474         From Steven M. Schweda's VMS patches.
475
476 2005-05-12  Hrvoje Niksic  <hniksic@xemacs.org>
477
478         * url.c (rewrite_shorthand_url): Don't rewrite "https://host" to
479         "ftp://https//host" when SSL is not used.
480
481 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
482
483         * openssl.c (ssl_check_server_identity): Renamed to
484         ssl_check_certificate because it does more than just checking the
485         server's identity.
486         (ssl_check_certificate): Tell the user about
487         --no-check-certificate.
488
489 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
490
491         * openssl.c (ssl_init): Always use SSL_VERIFY_NONE, so that the
492         handshake finishes even if the certificate is invalid.  That way
493         ssl_check_server_identity can provide better diagnostics on why
494         the verification failed.
495
496 2005-05-11  Hrvoje Niksic  <hniksic@xemacs.org>
497
498         * openssl.c (pattern_match): New function.
499         (ssl_check_server_identity): Treat peer certificate common name as
500         wildcard.
501
502 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
503
504         * openssl.c (ssl_check_server_identity): Print certificate subject
505         and issuer.
506
507 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
508
509         * res.c (res_register_specs): Correctly pass pointers to
510         hash_table_get_pair.
511
512 2005-05-10  Hrvoje Niksic  <hniksic@xemacs.org>
513
514         * http.c (gethttp): Call ssl_check_server_identity.
515
516         * openssl.c (ssl_check_server_identity): New function, verifies
517         that the host name in the certificate matches the actual host
518         name.
519         (verify_cert_callback): Removed, since it didn't do anything
520         except returning the preverify_ok argument.
521
522         * connect.c (fd_transport_context): Allow retrieval of the context
523         pointer registered with fd_register_transport.
524
525 2005-05-09  Hrvoje Niksic  <hniksic@xemacs.org>
526
527         * openssl.c (verify_cert_callback): Renamed from verify_callback.
528         Always return the received "ok" value.  Print the X509 name in
529         debug mode.
530         (ssl_init): Enable partial writes in SSL context.
531
532 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
533
534         * http.c (http_loop): Check for wildcards in the URL path
535         component, not in the whole URL.
536
537         * ftp.c (ftp_loop): Check for wildcards in URL path before
538         unescaping, so the users can escape globbing metacharacters with %
539         escapes.
540
541 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
542
543         * init.c (run_command): Correctly interpret the return value of
544         parse_line.
545         (commands): Re-alphabetize.
546
547 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
548
549         * netrc.c (parse_netrc): Explicitly check for assignment != NULL
550         to silence warning from Borland C.
551
552         * url.c (sync_path): Don't unnecessarily increment p.
553         (url_parse): Don't unnecessarily set url_encode to NULL just
554         prior to return from the function.
555
556 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
557
558         * log.c (escnonprint_internal): Place variable declarations
559         before other statements.
560
561 2005-05-08  Hrvoje Niksic  <hniksic@xemacs.org>
562
563         * html-url.c: Include recur.h.
564
565         * http.c (request_new): Define as accepting no args.
566
567 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
568
569         * url.c (strpbrk_or_eos): Made inline.  Use strchr(s, '\0') for
570         finding the NUL char position.
571
572 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
573
574         * url.c (decide_copy_method): Renamed to char_needs_escaping.
575         Since it now returns only two possible values, change it to return
576         boolean (int).
577
578 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
579
580         * ftp-basic.c (ftp_request): Prevent newlines in VALUE causing
581         inadvertent sending of multiple FTP commands.
582
583 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
584
585         * url.c (decide_copy_method): Never cause reencode_escapes to
586         decode % escapes; it is too intrusive and breaks some servers.
587
588 2005-05-07  Hrvoje Niksic  <hniksic@xemacs.org>
589
590         * http.c (gethttp): When tunnelling SSL traffic over proxy with
591         CONNECT, we're really talking to the remote server directly.
592         Because of this, the request-line argument must be the URL path
593         rather than the whole URL, as it would be when using regular
594         proxies.
595         Reported by Charles Lane.
596
597 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
598
599         * init.c (cmd_spec_useragent): Allow empty User-Agent.
600
601         * http.c (gethttp): Don't print "unknown authentication scheme"
602         for failed Basic authentication.
603         (SET_USER_AGENT): Don't set user-agent if opt.useragent is empty.
604         (gethttp): Use alloca for allocation of www_authenticate.
605
606 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
607
608         * main.c (print_help): Fix wording of --secure-protocol help text.
609
610 2005-05-06  Hrvoje Niksic  <hniksic@xemacs.org>
611
612         * cmpt.c (strstr): Updated from glibc 2.3.5.
613
614 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
615
616         * http.c (http_atotm): Zero out the whole struct tm being passed
617         to strptime.
618
619 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
620
621         * main.c (main): Propagate option name to setoptval.
622
623         * init.c (setoptval): Accept another argument, OPTNAME.  Propagate
624         that argument as the option name independently of the actual
625         command, determined by command_by_name(com).
626
627 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
628
629         * init.c (parse_line): Make the return value indicate whether
630         there was a syntax error or a setter failed.
631         (run_wgetrc): Return an indication on whether an error has been
632         encountered.
633         (initialize): Abort if there have been errors running either
634         .wgetrc file.
635
636 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
637
638         * log.c (copy_and_escape): Slightly reduce code repetition between
639         the two loops.
640
641 2005-05-05  Charles C.Fu  <ccwf@bacchus.com>
642
643         * utils.c (proclist): Strip leading slash when calling fnmatch
644         too, otherwise wildcard comparisons always fail.
645
646 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
647
648         * utils.c (touch): Set access time to current time.
649
650 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
651
652         * url.c (url_unescape): Don't unescape %00, it effectively
653         truncates the string.
654
655 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
656
657         * log.c (copy_and_escape): Replace the FOR_URI argument with a
658         slightly more general mechanism for specifying different kinds of
659         escape.
660
661 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
662
663         * ftp-basic.c (ftp_response): Fix printing FTP server response.
664
665 2005-05-05  Hrvoje Niksic  <hniksic@xemacs.org>
666
667         * retr.c (limit_bandwidth_reset): Reset sleep_adjust.
668         (limit_bandwidth): Don't allow huge "adjustment" values that
669         result from being suspended for a while.
670
671 2005-05-04  Hrvoje Niksic  <hniksic@xemacs.org>
672
673         * wget.h: If gettext was found but libtintl.h wasn't, declare
674         gettext's return type to avoid type mismatches.
675
676 2005-05-03  Hrvoje Niksic  <hniksic@xemacs.org>
677
678         * url.c (url_parse): Rename label `error' to avoid conflict with
679         identifier.
680
681         * retr.c (fd_read_body): Rename label `out' to avoid conflict with
682         identifier.
683         (fd_read_hunk): Use explicit double constant.
684         (retrieve_from_file): Don't use string concatenation.
685         (sleep_between_retrievals): Make sure xsleep is called with a
686         `double' argument.
687         (no_proxy_match): Define as static, like it is declared.
688
689         * progress.c (bar_create): Use 0.0 instead of 0 because K&R
690         compilers can't automatically promote it.
691
692         * http-ntlm.c (ntlm_output): Replace \xHH sequences with \OOO for
693         the sake of old compilers.
694
695         * ftp.c (ftp_loop_internal): Don't use string concatenation.
696
697         * http.c (request_send): Use explicit double constants when
698         calling fd_read and fd_write.
699         (post_file): Ditto.
700         (gethttp): Ditto.
701         (skip_short_body): Ditto.
702
703         * ftp-basic.c: When calling fd_write, specify the last argument as
704         a `double' constant for the sake of K&R compilers which don't see
705         the prototype and therefore can't promote it to double
706         automatically.
707
708         * cookies.c (cookie_jar_load): Rename abort label to abort_cookie
709         to avoid name conflict in K&R compilers.
710
711 2005-04-29  Hrvoje Niksic  <hniksic@xemacs.org>
712
713         * ptimer.c (posix_init): Since we allow _POSIX_MONOTONIC_CLOCK==0,
714         it is not enough to check for _POSIX_MONOTONIC_CLOCK-0, we must
715         also check for defined(_POSIX_MONOTONIC_CLOCK).
716
717 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
718
719         * ftp.c, hash.c, connect.c, host.c, http.c: Remove unreached code,
720         such as "break" following return or abort.
721
722 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
723
724         * init.c (commands): Wrap the use of opt.random_file in #ifdef
725         HAVE_SSL.
726
727 2005-04-28  Hrvoje Niksic  <hniksic@xemacs.org>
728
729         * http.c (gethttp): Correctly set the user agent.
730
731 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
732
733         * init.c (cmd_spec_useragent): Free the old value of
734         opt.useragent before setting the new one.
735
736 2005-04-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
737
738         * main.c: Map --ftp-password, --http-password and --proxy-password to
739         the new ftppassword, httppassword and proxypassword commands
740         respectively.  Document the --user and --password options in the help
741         string.
742         
743 2005-04-27  Mauro Tortonesi  <mauro@ferrara.linux.it>
744
745         * ftp.c: Add support for --user and --password.
746         
747         * http.c: Add support for --user and --password.
748         
749         * init.c: Deprecated ftppasswd, httppasswd, login, passwd and
750         proxypasswd commands.  Added ftppassword, ftpuser, httppassword,
751         password, proxypassword and user commands.
752
753         * main.c: Renamed --ftp-passwd to --ftp-password.  Added --ftp-user,
754         --http-password, --password, --proxy-password and --user.  Deprecated
755         --http-passwd and --proxy-passwd.  Added documentation for new options
756         and removed documentation for deprecated options in the help string.
757         
758         * options.h (struct options): Added user and passwd members to handle
759         --user and --password respectively.  Renamed ftp_acc and ftp_pass
760         members to ftp_user and ftp_passwd for consistency.
761
762 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
763
764         * main.c (print_help): Advertise "DER", not "ASN1".
765
766 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
767
768         * openssl.c (init_prng): Disable the weak random seed by default.
769
770         * http.c (gethttp): Simplify SSL initialization; disable SSL when
771         anything goes wrong with the initialization.
772
773         * options.h (struct options): New option opt.random_file.
774
775 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
776
777         * init.c: Wrap private key commands in IF_SSL.
778
779 2005-04-27  Hrvoje Niksic  <hniksic@xemacs.org>
780
781         * openssl.c (ssl_init): Ditto.
782
783         * options.h (struct options): Allow separate specification of key
784         type and certificate type.
785
786         * init.c (cmd_spec_cert_type): Provide a "der" synonym for "asn1"
787         certificate encoding.
788
789 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
790
791         * openssl.c: Renamed "gen_sslfunc.c" to "openssl.c" and
792         "gen_sslfunc.h" to "openssl.h".  This reflects the intent of
793         openssl.c encapsulating the OpenSSL-specific code.
794
795 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
796
797         * init.c: Renamed "closure" (a synonym for context in some
798         cultures) to "place", which more accurately reflects the usage.
799
800 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
801
802         * gen_sslfunc.c (ssl_init): Use default locations for loading the
803         certificate bundles.
804         (ssl_init_prng): Disable the cryptographically weak PRNG
805         initialization fallback.
806
807         * init.c: Renamed SSL command-line arguments and wgetrc commands.
808         (defaults): Check the server certificate by default.
809
810 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
811
812         * cookies.c (cookie_handle_set_cookie): Delete the part of the
813         path after the trailing slash.
814
815         * http.c (gethttp): Call cookie_handle_set_cookie with path that
816         begins with '/'.
817
818 2005-04-26  Hrvoje Niksic  <hniksic@xemacs.org>
819
820         * http.c (gethttp): Call skip_short_body only if keep_alive is in
821         use.
822         (gethttp): Send the User-Agent header with the CONNECT request as
823         well.
824
825 2005-04-25  Hrvoje Niksic  <hniksic@xemacs.org>
826
827         * main.c (option_data): Removed support for the undocumented flag
828         --use-proxy.
829
830 2005-04-25  Hrvoje Niksic  <hniksic@xemacs.org>
831
832         * main.c (option_data): Don't treat -Y as a boolean switch; treat
833         it as a value switch instead, so "-Y off" continues to work.
834
835 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
836
837         * utils.c (aprintf): Delete unreachable statement.
838
839 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
840
841         * host.c (cmp_prefer_ipv4): New function.
842         (cmp_prefer_ipv6): New function.
843         (lookup_host): Use the appropriate comparator according to
844         opt.prefer_family.
845
846         * init.c: New option prefer_family.
847
848         * host.c (is_valid_ipv6_address): Spell NS_* constants in lower
849         case to avoid clash with system headers.
850         (lookup_host): Reorder the addresses so that IPv4 ones come first.
851
852         * utils.c (stable_sort): New function.
853
854 2005-04-24  Hrvoje Niksic  <hniksic@xemacs.org>
855
856         * connect.c (retryable_socket_connect_error): Return 0 for
857         ENETUNREACH and EHOSTUNREACH.
858
859 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
860
861         * cmpt.c: Reenable the memmove implementation for systems that
862         lack it.
863
864         * http.c (gethttp): Store the "authorized" state of the persistent
865         connection.
866         (request_remove_header): New function.
867         (gethttp): Don't send the "Basic" authentication if the connection
868         is already authorized.
869
870 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
871
872         * utils.c (base64_encode): Treat input as unsigned chars.
873         Required for correct encoding of binary stuff.
874
875 2005-04-23  Hrvoje Niksic  <hniksic@xemacs.org>
876
877         * http-ntlm.c: Format the function definitions in an
878         ansi2knr-friendly fashion.
879
880 2005-04-22  Hrvoje Niksic  <hniksic@xemacs.org>
881
882         * http.c (gethttp): Handle multiple WWW-Authentication headers,
883         only one of which is recognized.  Those are sent by IIS with NTLM
884         authorization.
885         (create_authorization_line): Propagate information whether
886         authorization is finished.
887         (gethttp): Only stop authorization when it's really finished, not
888         after fixed two steps.
889
890 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
891
892         * gen_sslfunc.c (ssl_init): Fix warning message text; mark the
893         message as translatable.
894
895 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
896
897         * main.c (print_help): Print the EGD option outside the cluster of
898         SSL options.
899
900 2005-04-21  Hrvoje Niksic  <hniksic@xemacs.org>
901
902         * http-ntlm.c (ntlm_output): Fix setting the domain.
903         Suggested by Sami Krank.
904
905 2005-04-20  Mauro Tortonesi  <mauro@ferrara.linux.it>
906
907         * connect.c: Set IPV6_V6ONLY socket option when -6 switch is used.
908
909 2005-04-20  FUJISHIMA Satsuki  <sf@FreeBSD.org>
910
911         * http.c (request_set_header): Fix the check whether a new header
912         needs to be allocated.
913
914 2005-04-18  Hrvoje Niksic  <hniksic@xemacs.org>
915
916         * utils.c (base64_encode): Use the parameter order that makes more
917         sense.  Return the length of the base64 written.  Updated all
918         callers.
919
920 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
921
922         * http.c (request_set_header): Free NAME when VALUE is NULL and
923         freeing the header name is requested.
924
925 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
926
927         * snprintf.c (fmtstr): Declare VALUE as const char *.
928         Based on patch by Russ Allbery.
929
930 2005-04-17  Hrvoje Niksic  <hniksic@xemacs.org>
931
932         * snprintf.c (fmtfp): More correct handling of significant digit
933         count with %g -- 0.002 has one significant digit, not three.
934
935 2005-04-16  Hrvoje Niksic  <hniksic@xemacs.org>
936
937         * retr.c (fd_read_body): Respect read timeout with non-interactive
938         or no progress gauge -- treat ETIMEDOUT specially only when
939         progress_interactive.
940         Reported by FUJISHIMA Satsuki.
941
942 2005-04-16  FUJISHIMA Satsuki  <sf@FreeBSD.org>
943
944         * http.c (gethttp): Don't use HTTP/1.0 persistent connections over
945         proxy.
946
947 2005-04-16  Hrvoje Niksic  <hniksic@xemacs.org>
948
949         * snprintf.c: Use the PARAMS macro to handle prototypes.  Write
950         function definitions in the ansi2knr-friendly way.
951         (fmtstr): If string precision is specified, don't read VALUE past
952         it.
953         (dopr): Actually print %g and %e formats.
954         (fmtfp): Fix a bug that caused 0.01 to be printed as 0.1.
955         (fmtfp): Use LLONG in floating point conversions to be able to
956         convert more digits.
957         (fmtfp): Interpret precision as number of significant digits with
958         %g.
959         (fmtfp): Omit trailing decimal zeros with %g.
960
961         * snprintf.c: Don't include <ctype.h> because none of it is used.
962         Include strings.h/string.h, as per Autoconf.
963
964 2005-04-15  Hrvoje Niksic  <hniksic@xemacs.org>
965
966         * ptimer.c: Use _POSIX_TIMERS - 0 > 0, which handles the case when
967         _POSIX_TIMERS is defined but empty, as well as the case when it is
968         undefined.  Do the same with the check for _POSIX_MONOTONIC_CLOCK.
969         Suggested by Larry Jones.
970
971 2005-04-15  Hrvoje Niksic  <hniksic@xemacs.org>
972
973         * ptimer.c: Check that _POSIX_TIMERS is defined as well as > 0.
974         Problem reported by Steven M. Schweda.
975
976 2005-04-14  Hrvoje Niksic  <hniksic@xemacs.org>
977
978         * http.c (skip_short_body): Print the skipped body data in debug
979         mode.
980         (skip_short_body): Don't skip more than 4k of body data.
981         (skip_short_body): Return whether the skipping was successful.
982         (gethttp): If skip_short_body failed, invalidate the connection.
983
984 2005-04-12  Gisle Vanem  <giva@bgnett.no>
985
986         * ftp.c (getftp): Ditto.
987
988         * http.c (gethttp): Open the output file in binary mode.
989
990 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
991
992         * hash.c: Conditionalize including config.h on HAVE_CONFIG_H
993         instead of on STANDALONE.
994
995 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
996
997         * gen_sslfunc.c (ssl_print_errors): Made static.
998         (ssl_print_errors): Eliminate potentially dangerous fixed-size
999         error buffer.  Passing NULL to ERR_error_string causes it to use
1000         its own static buffer, which is fine for our purposes.
1001
1002         * gen_sslfunc.c: Include gen_sslfunc.h.  Make the declarations of
1003         ssl_init and ssl_conect match the actual definitions.
1004         (ssl_connect): Simply return a boolean, the SSL context is no
1005         longer useful as a return value.
1006
1007         * retr.c: Don't include SSL headers; we don't need them.
1008
1009 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
1010
1011         * config-post.h: Don't define _VA_LIST under Solaris; it breaks
1012         compilation with GCC 3.4 under Solaris 10.  (It was defined to
1013         avoid a warning with previous versions of GCC.)
1014
1015 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
1016
1017         * xmalloc.c (register_ptr): Warn the user to increase SZ prior to
1018         aborting.
1019
1020 2005-04-11  Hrvoje Niksic  <hniksic@xemacs.org>
1021
1022         * convert.c (convert_cleanup): Free converted_files.
1023
1024 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
1025
1026         * wget.h (DEBUGP): Use __builtin_expect to give a hint to GCC that
1027         opt.debug is false in the vast majority of cases.
1028
1029 2005-04-10  Hrvoje Niksic  <hniksic@xemacs.org>
1030
1031         * config-post.h: Declare alloca as void *, not char *.
1032
1033 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
1034
1035         * recur.c (download_child_p): When -p is used, (temporarily)
1036         ignore accept/reject rules for HTMLs, even when they are at the
1037         maximum recursion depth.  That is because with -p we are, if
1038         necessary, overstepping the max. depth to get the requisites.
1039
1040 2004-06-12  Larry Jones <lawrence.jones@ugsplm.com>
1041
1042         * recur.c (download_child_p): Correct the logic in check number 6:
1043         test opt.reclevel (not DEPTH) against INFINITE_RECURSION.
1044
1045 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
1046
1047         * url.c: Use "static const" in preference to "const static".
1048         Sun's cc warns that "storage class after type is obsolescent".
1049
1050         * url.c (urlchr_table): Don't mark ~ as unsafe, too many broken
1051         web sites are confused when ~ is changed to %7E.  Their servers
1052         redirect /%7Efoo/ to /~foo/, which Wget again accesses using %7E,
1053         causing further redirections, therefore looping infinitely.  See
1054         Debian bug #301624 for an example.
1055
1056 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
1057
1058         * alloca.c: Include wget.h to be able to use xmalloc.  In addition
1059         to defining malloc to xmalloc, also define free to xfree.
1060
1061 2005-04-09  Hrvoje Niksic  <hniksic@xemacs.org>
1062
1063         * http-ntlm.c (ntlm_output): Use "char", not "unsigned char" for
1064         ntlmbuf.  Our base64 functions accept char anyway.
1065         (ntlm_output): Join up the format string, since we nominally
1066         support K&R compilers.
1067         (ntlm_output): Ditto.
1068
1069 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1070
1071         * ptimer.c: Use Windows timers under Cygwin, whose POSIX timer
1072         implementation is incomplete.
1073
1074 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1075
1076         * ptimer.c (struct ptimer): Remove the unused initialized field.
1077
1078         * ptimer.c: Renamed function parameters from WT (which used to
1079         stand for wget_timer or wtimer) to PT.
1080
1081 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1082
1083         * ptimer.c (posix_init): Be smarter about choosing clocks.  In
1084         decreasing order of preference, use CLOCK_MONOTONIC,
1085         CLOCK_HIGHRES, and CLOCK_REALTIME.
1086         (ptimer_allocate): Removed.
1087
1088         * ptimer.c: Refactor the code by cleanly separating the
1089         architecture-dependent code from the architecture-independent
1090         code.
1091
1092 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1093
1094         * ptimer.c (ptimer_init): Explicitly check that
1095         _POSIX_MONOTONIC_CLOCK is *both* defined and >=0.  (Undefined
1096         symbols are >=0.)
1097
1098 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1099
1100         * ptimer.c (ptimer_diff): Fix typo affecting Windows build.
1101
1102 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1103
1104         * ptimer.c (ptimer_init): In fact, _POSIX_MONOTONIC_CLOCK needs to
1105         be >= 0.
1106
1107         * ptimer.c (ptimer_init): Check whether _POSIX_MONOTONIC_CLOCK is
1108         defined instead of whether it's greater than 0.  glibc defines it
1109         to 0, but still makes it available via sysconf.
1110
1111 2005-04-08  Hrvoje Niksic  <hniksic@xemacs.org>
1112
1113         * mswindows.c (str_to_int64): Rename OVERFLOW and UNDERFLOW to
1114         INT64_OVERFLOW and INT64_UNDERFLOW, since those names are used.
1115
1116 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
1117
1118         * ptimer.c: New file.  Move the "wtimer" functions from utils.c to
1119         this file and rename them to ptimer_.
1120
1121 2005-04-07  Hrvoje Niksic  <hniksic@xemacs.org>
1122
1123         * host.c (NO_ADDRESS): Define NO_ADDRESS only after the system
1124         headers have been included.
1125
1126 2005-04-06  Hrvoje Niksic  <hniksic@xemacs.org>
1127
1128         * http.c (pconn): Include NTLM data, which is per-connection.
1129         (known_authentication_scheme_p): Recognize NTLM authorization.
1130         (create_authorization_line): Call ntlm_input and ntlm_output.
1131
1132         * http-ntlm.c: New file, donated by Daniel Stenberg and originally
1133         written for curl, heavily modified for Wget.
1134
1135         * utils.c (base64_encode): Relocated from http.c, since it is now
1136         used by http-ntlm.c, and will possibly be used elsewhere.
1137         (base64_decode): New function, originally based on code from GNU
1138         recode.
1139
1140 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
1141
1142         * ftp.c (ftp_loop): Ditto.
1143
1144         * ftp-basic.c (ftp_pasv): Use the xzero shorthand for memset(0).
1145         (ftp_lpsv): Ditto.
1146
1147 2005-04-05  Mauro Tortonesi  <mauro@ferrara.linux.it>
1148
1149         * Makefile.in: removed string_t.c from list of source files.
1150
1151 2005-04-04  Mauro Tortonesi  <mauro@ferrara.linux.it>
1152
1153         * string_t.c: Removed.
1154         
1155         * string_t.h: Removed.
1156
1157 2005-04-02  Hrvoje Niksic  <hniksic@xemacs.org>
1158
1159         * url.c (rewrite_shorthand_url): Only accept recognized schemes.
1160         That way "foo:80" will correctly be rewritten to "http://foo:80"
1161         instead of left unchanged and ultimately rejected because of
1162         "unsupported scheme foo".
1163
1164 2005-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
1165
1166         * utils.c (number_to_string): Avoid explicit 64-bit constants;
1167         construct them by multiplication at compile-time.
1168
1169         * utils.c, elsewhere: Don't append "L" to 32-bit integer
1170         constants; we aren't really compilable on 16-bit systems anyway.
1171
1172         * hash.c (prime_size): Remove primes larger than 2^31, but include
1173         2^31-1, which is prime.
1174
1175 2005-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
1176
1177         * utils.c (string_set_to_array): New function.
1178
1179         * convert.c: Replace the use of "slists" with sets/hash-tables,
1180         which in fact suit the intended purpose much better.
1181         downloaded_html_list is removed altogether.
1182
1183 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
1184
1185         * ftp.h (enum): Rename GLOBALL, GETALL, and GETONE to
1186         GLOB_GLOBALL, GLOB_GETALL, and GLOB_GETONE to avoid conflict with
1187         Linux headers.
1188
1189 2005-03-29  Hrvoje Niksic  <hniksic@xemacs.org>
1190
1191         * utils.c (numdigit): More correct handling of negative numbers.
1192
1193 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
1194
1195         * http.c (gethttp): Print the human-readable size.
1196
1197         * ftp.c (getftp): Print the human-readable size of the file to be
1198         downloaded.
1199
1200         * utils.c (human_readable): New function.
1201
1202         * utils.c: Renamed "legible" to "with_thousand_seps",
1203         "legible_large_int" to "with_thousand_seps_large", and "legible_1"
1204         to "add_thousand_seps".
1205
1206 2005-03-21  Hrvoje Niksic  <hniksic@xemacs.org>
1207
1208         * http.c (gethttp): Inhibit persistent connections when talking to
1209         proxies, as mandated by RFC 2068.
1210
1211 2005-03-20  Hrvoje Niksic  <hniksic@xemacs.org>
1212
1213         * url.c (unescape_single_char): New function.
1214         (url_escape_dir): Use it to unescape slashes in directory
1215         components.
1216         (url_string): Escape unsafe chars in host name, except for the ':'
1217         charaters, which can appear in IPv6 addresses.
1218
1219         * main.c (main): Don't access the cookie jar directly.
1220
1221         * log.c (escnonprint_internal): Correctly calculate the needed
1222         string size.  Don't forget the buffer's new size after having
1223         reallocated it.
1224         (log_cleanup): New function.  Free the escnonprint ring data.
1225
1226         * init.c (cleanup): Don't free the cookie jar explicitly, it is
1227         now done by http_cleanup.
1228         (cleanup): opt.user_headers is now a vector, free it with
1229         free_vec.
1230
1231         * http.c (gethttp): Make sure to free the request data, the status
1232         message, and the response data before returning from the function.
1233         (save_cookies): New function.
1234         (http_cleanup): Free the cookie jar here.
1235
1236         * hash.c: Renamed string_hash to hash_string and ptrhash to
1237         hash_pointer.  Exported hash_pointer.
1238
1239         * xmalloc.c: Organized malloc_table (previously malloc_debug) as a
1240         simple EQ hash table.  register_ptr and unregister_ptr are now of
1241         O(1) complexity.
1242
1243         * xmalloc.c: Renamed "*_debug" to debugging_* and "*_real" to
1244         checking_*.
1245
1246 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
1247
1248         * utils.c (debug_test_md5): Moved to gen-md5.c.
1249
1250         * mswindows.h: Don't declare inet_ntop, since we don't use it.
1251
1252         * mswindows.h: For consistency, also wrap closesocket, it being
1253         a Winsock call.
1254
1255         * mswindows.h: Don't declare sleep and usleep; we're defining
1256         xsleep now.
1257
1258         * mswindows.h (mkdir): Don't special-case Borland C, _mkdir
1259         works there as well.
1260
1261         * host.c: Don't include winsock header files; the correct ones
1262         are already included by mswindows.h.
1263
1264         * mswindows.c (xsleep): Round toward the nearest millisecond
1265         in an attempt to avoid average short sleeps.
1266
1267         * utils.c (wtimer_granularity): Report correct values for
1268         Windows timers and for high-resolution timers.
1269
1270         * utils.c (wtimer_initialize_once): New function, called to
1271         initialize the timer frequency.
1272
1273         * utils.c: Replace the use of GetSystemTime with high-resolution
1274         counters under Windows.  When high-resolution counters are
1275         unavailable, use GetTickCount().
1276
1277 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
1278
1279         * retr.c (fd_read_body): Undo the 2004-11-18 change.  Instead,
1280         always be "exact".
1281
1282 2005-03-17  Hrvoje Niksic  <hniksic@xemacs.org>
1283
1284         * ftp-basic.c (ftp_login): Don't free the string if ftp_response
1285         returned an error status because the line didn't get allocated in
1286         the first place.
1287
1288 2005-03-15  Hrvoje Niksic  <hniksic@xemacs.org>
1289
1290         * http.c (read_http_response_head): Limit the response size to 64k
1291         bytes.
1292
1293         * retr.c (fd_read_hunk): Accept a MAXSIZE argument that limits the
1294         number of bytes the function is allowed to allocate.
1295         (fd_read_line): Limit the line to 4096 bytes.
1296
1297 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
1298
1299         * wget.h: Include options.h after wgint has been defined.
1300
1301         * options.h (struct options): Declare options processed with
1302         cmd_bytes as wgint, not long.
1303
1304 2005-03-18  Hrvoje Niksic  <hniksic@xemacs.org>
1305
1306         * init.c (cmd_file): Use concat_strings.
1307
1308         * http.c (basic_authentication_encode): Use concat_strings.
1309
1310         * ftp-ls.c (ftp_index): Use concat_strings.
1311
1312         * ftp-basic.c (ftp_request): Use concat_strings.
1313
1314         * utils.c (concat_strings): New function.
1315
1316 2005-03-12  Hrvoje Niksic  <hniksic@xemacs.org>
1317
1318         * init.c (simple_atof): Handle negative numbers; skip whitespace
1319         before the number.
1320         (simple_atoi): Ditto.  Also, check for overflow and underflow.
1321         (cmd_number): Bail out on negative numbers.
1322         (parse_bytes_helper): Ditto.
1323
1324 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
1325
1326         * http.c (gethttp): Handle multiple Set-Cookie headers sent by
1327         remote server.
1328
1329 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
1330
1331         * init.c (defaults): Use passive FTP by default.
1332
1333 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
1334
1335         * mswindows.c: Provide wrappers to Winsock functions that set
1336         errno to WSAGetLastError() in case of failure.  Also provide a
1337         Windows-specific version of strerror.
1338
1339         * mswindows.h: Wrap calls to socket, bind, connect, recv, send,
1340         select, getsockname, getpeername, and setsockopt.
1341
1342 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
1343
1344         * url.c (url_parse): Reject port numbers larger than 65535.  We
1345         also check for overflow while parsing port numbers.
1346
1347 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
1348
1349         * utils.c (read_file): Don't use wgint for file size; LFS won't
1350         work since the file is mmap'ed as a whole.
1351
1352         * options.h: Don't include stdio.h.
1353
1354         * log.c: Ditto.
1355
1356         * init.c: Disambiguate assignment from non-zero test to avoid
1357         Borland C warning.
1358
1359         * http.c (response_new): Don't needlessly post-increment count.
1360
1361         * hash.c: Include stdio.h.
1362
1363         * gnu-md5.h: Don't include stdio.h.
1364
1365         * getopt.h (struct option): Always use const.
1366
1367         * ftp.c (getftp): Avoid unnecessary assignment to RES to avoid
1368         Borland C warning.
1369
1370         * ftp-ls.c: Disambiguate assignment from non-zero test to avoid
1371         Borland C warning.
1372
1373         * cmpt.c (strptime_internal): Don't initialize rp_backup when
1374         !_NL_CURRENT to avoid Borland C warning.
1375
1376 2005-03-06  Hrvoje Niksic  <hniksic@xemacs.org>
1377
1378         * utils.c (fopen_excl): Fix parse error when O_BINARY is
1379         available.
1380
1381 2005-03-05  Hrvoje Niksic  <hniksic@xemacs.org>
1382
1383         * url.c (url_file_name): Don't allow hosts named ".." to be
1384         appended as path elements.
1385
1386 2005-03-03  Hrvoje Niksic  <hniksic@xemacs.org>
1387
1388         * retr.c (retrieve_url): Escape location header.
1389
1390         * http.c (print_server_response_1): Escape server response when
1391         printing it.
1392         (gethttp): Escape host name, status message, location header, and
1393         content type.
1394         (http_loop): Escape error message from server.
1395
1396         * host.c (lookup_host): Escape host name when printing it.
1397
1398         * ftp.c (getftp): Escape user name when printing it.
1399         (getftp): Escape remote file and directory for printing.
1400         (getftp): Escape server listing when printing it.
1401         (ftp_retrieve_list): Escape link name and file name.
1402         (ftp_retrieve_glob): Escape file name.
1403
1404         * ftp-basic.c (ftp_response): Escape server response when printing
1405         it.
1406
1407         * cookies.c (parse_set_cookies): Escape the cookie field when
1408         printing it.
1409         (parse_set_cookies): Escape contents of remote header.
1410         (cookie_handle_set_cookie): Escape host name and cookie domain.
1411
1412         * connect.c (connect_to_ip): Escape the host name.
1413
1414         * log.c (escnonprint): New function, used for printing strings
1415         coming from the server that possibly contain non-ASCII characters.
1416         (escnonprint_uri): Ditto.
1417
1418 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
1419
1420         * ftp.c (getftp): Ditto.
1421
1422         * http.c (gethttp): When we're not supposed to overwrite files,
1423         use fopen_excl to open the file and recompute the file name.
1424
1425         * log.c (redirect_output): Use unique_create to avoid a race
1426         condition.
1427
1428         * mswindows.c (fake_fork_child): Use unique_create.
1429
1430         * utils.c (fopen_excl): New function that opens a stdio stream
1431         with the O_EXCL flag (where available).
1432         (unique_create): New function, like unique_name, but also creating
1433         the file and returning a file pointer.
1434         (fork_to_background): Use unique_create to create the file
1435         immediately to avoid race condition with multiple instances of
1436         wget -b.
1437
1438 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
1439
1440         * host.c (lookup_host): Test for AI_ADDRCONFIG directly, instead
1441         of checking for HAVE_GETADDRINFO_AI_ADDRCONFIG.
1442
1443 2005-02-23  Hrvoje Niksic  <hniksic@xemacs.org>
1444
1445         * host.c (is_valid_ipv6_address): Move here from url.c.
1446         (lookup_host): If the address is numeric, don't print the
1447         "resolving..." line, don't set up DNS timeouts, and set the
1448         AI_NUMERICHOST hint, where available.
1449
1450 2005-02-26  Gisle Vanem  <giva@bgnett.no>
1451
1452         * utils.c: Use the nnnLL syntax under GCC.  Define struct_stat to
1453         struct _stati64 under __MINGW32__ as well as under MS VC.
1454
1455 2005-02-26  Hrvoje Niksic  <hniksic@xemacs.org>
1456
1457         * utils.c: Use the nnnI64 syntax for __int64 constants under all
1458         Windows compilers.
1459         (SPRINTF_WGINT): Use "%I64" under all Windows compilers.
1460
1461         * mswindows.h (WGINT_MAX): Use the nnnI64 syntax for
1462         __int64 constants under all Windows compilers.
1463         (struct_stat): Use `struct stati64' under Borland C.
1464         (fstat): Don't redefine to _fstati64 under Borland.
1465
1466         * mswindows.c: Define str_to_int64 under Borland C as well as
1467         under (older) Visual C.
1468
1469 2005-02-25  Hrvoje Niksic  <hniksic@xemacs.org>
1470
1471         * ftp.c (getftp): Initialize err to suppress compiler warning.
1472
1473 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
1474
1475         * ftp.c (ftp_expected_bytes): Fix bug that caused infloop because
1476         of not correctly skipping the '(' character.
1477
1478 2005-02-24  Hrvoje Niksic  <hniksic@xemacs.org>
1479
1480         * mswindows.c (wget_ftello): Removed.
1481
1482         * mswindows.h: Remove bogus definition of stat.
1483         (wget_ftello): Remove the leftover ftello replacement.
1484
1485 2005-02-20  Hrvoje Niksic  <hniksic@xemacs.org>
1486
1487         * mswindows.c (wget_ftello): Wget's replacement for ftello.
1488
1489         * utils.c (file_size): Use ftello where available.
1490
1491         * ftp-ls.c (ftp_parse_unix_ls): Use str_to_wgint to parse the file
1492         size.
1493         (ftp_parse_winnt_ls): Ditto.
1494
1495         * ftp-basic.c (ftp_size): Use str_to_wgint to convert number to
1496         wgint; pass 10 instead of 0 as the BASE argument.
1497
1498         * ftp.c (ftp_expected_bytes): Use str_to_wgint to parse the file
1499         size.
1500
1501         * sysdep.h (LARGE_INT_FMT): Use __int64 as LARGE_INT on
1502         MSVC/Windows; print it with "%I64".
1503
1504         * wget.h: Define a `wgint' type, normally aliased to (the possibly
1505         64-bit variant of) off_t.
1506
1507         * all: Use `wgint' instead of `long' for numeric variables that
1508         can hold file sizes.
1509
1510         * utils.c (number_to_string): Support printing of `wgint'
1511         argument.
1512         (number_to_static_string): New function.
1513
1514         * all: Replace printf("%ld", long_value) with printf("%s",
1515         number_to_static_string(wgint_value)).
1516
1517 2005-02-18  Mauro Tortonesi <mauro@ferrara.linux.it>
1518
1519         * main.c: Added the --ftp-passwd command line option.
1520
1521         * init.c: Renamed command passwd to ftppasswd.
1522
1523 2005-02-11  Mauro Tortonesi <mauro@ferrara.linux.it>
1524         
1525         * string_t.c: Fixed a bug in do_escape and triggered escape of
1526         backslashes in string_escape to avoid ambiguities in the result
1527         string.
1528         
1529 2005-02-10  Mauro Tortonesi <mauro@ferrara.linux.it>
1530
1531         * string.h: Renamed to string_t.h to fix a compilation conflict 
1532         with the string.h header in the standard C library.
1533         
1534         * string.c: Renamed to string_t.c for consistency with string.h.
1535         
1536         * string_t.c: Ditto.
1537
1538         * string_t.h: Ditto.
1539         
1540 2004-12-31  Mauro Tortonesi <mauro@ferrara.linux.it>
1541
1542         * string.c: New file.
1543
1544         * string.h: New file.
1545
1546         * Makefile.in: Added string.c to the list of modules to compile.
1547
1548         * main.c: Updated copyright.
1549
1550 2004-11-18  Ulf Harnhammar <ulf.harnhammar.9485@student.uu.se>
1551
1552         * ftp-ls.c: Fixed a problem in ftp_parse_winnt_ls that could allow a
1553         malicious remote FTP server to crash wget.
1554
1555 2004-11-18  Hans-Andreas Engel <engel@node.ch>
1556
1557         * http.c: Enable --convert-links (-k) when a single page is downloaded
1558         via --output-document (-O).
1559
1560 2004-11-18  Mauro Tortonesi <mauro@deepspace6.net>
1561
1562         * connect.c: Minor correction to the comment in front of fd_peek.
1563
1564 2004-11-18  Leonid Petrov <nouser@lpetrov.net>
1565
1566         * retr.c: Fix a timeout problem in fd_read_body when using http_proxy.
1567
1568 2004-11-15  YAMAZAKI Makoto <Yamazaki.Makoto@fujixerox.co.jp>
1569
1570         * netrc.c: Fix termination by assertion bug in netrc parsing.
1571
1572 2004-05-09  David Fritz  <zeroxdf@att.net>
1573
1574         * mswindows.c (fake_fork): Pass entire command line to the child
1575         process.
1576
1577 2004-03-31  Hrvoje Niksic  <hniksic@xemacs.org>
1578
1579         * http.c (gethttp): Fix typo: SCHEME_SSL -> SCHEME_HTTPS.
1580
1581 2004-03-30  Hrvoje Niksic  <hniksic@xemacs.org>
1582
1583         * http.c (gethttp): Send the Proxy-Authorization header over
1584         non-SSL connections too.
1585
1586 2004-03-25  David Fritz  <zeroxdf@att.net>
1587
1588         * mswindows.c (fake_fork_child): Ignore error code when
1589         OpenFileMapping() fails; assume it failed because the object does
1590         not exist.
1591
1592 2004-03-24  David Fritz  <zeroxdf@att.net>
1593
1594         * mswindows.c (fake_fork): New function.
1595
1596         * mswindows.c (fork_to_background): Use it.
1597
1598 2004-03-19  David Fritz  <zeroxdf@att.net>
1599
1600         * mswindows.c (ws_hangup): Incorporate old fork_to_background()
1601         code.  Add event name argument.
1602         (fork_to_backgorund): Now a simple wrapper around ws_hangup().
1603         (ws_handler): Correctly handle the case when neither CTRLC_BACKGND
1604         nor CTRLBREAK_BACKGND are defined.  Don't bother handling close,
1605         logoff, or shutdown events.  Call ws_hangup() with the correct
1606         event name; don't assume it was CTRL+Break.
1607
1608 2004-03-19  Hrvoje Niksic  <hniksic@xemacs.org>
1609
1610         * url.c (url_parse): Decode %HH sequences in host name.
1611
1612 2004-03-04  Hrvoje Niksic  <hniksic@xemacs.org>
1613
1614         * convert.c (local_quote_string): Quote "#" as "%23" and "%" as
1615         "%25" when creating links to local files.
1616
1617 2004-03-02  David Fritz  <zeroxdf@att.net>
1618
1619         * mswindows.c (ws_percenttitle): Guard against future changes by
1620         doing nothing if the proper variables have not been initialized.
1621         Clamp percentage value.
1622
1623 2004-03-04  Gisle Vanem  <giva@bgnett.no>
1624
1625         * retr.c (fd_read_body): Don't change console title if quiet.
1626
1627 2004-02-25  David Fritz  <zeroxdf@att.net>
1628
1629         * mswindows.c (set_sleep_mode): Remove argument and return value.
1630         Call GetModuleHandle() instead of LoadLibrary()/FreeLibrary() for
1631         kernel32.dll.  Use typedef for function-pointer.  Don't cast
1632         l-value.  Don't use dereference operator when calling through
1633         function-pointer.
1634         (ws_startup): Update call to set_sleep_mode().
1635         (ws_cleanup): Remove call to set_sleep_mode().
1636
1637 2004-02-23  David Fritz  <zeroxdf@att.net>
1638
1639         * http.c (http_loop): Ditto.
1640
1641         * ftp.c (ftp_loop_internal): Update call to ws_changetitle().
1642
1643         * main.c (main): Don't bother calling ws_changetitle().
1644
1645         * mswindows.h (ws_changetitle): Update prototype.
1646
1647         * mswindows.c (ws_changetitle): Remove second argument.  Use
1648         xfree_null().
1649         (ws_percenttitle): Only update title when percentage has changed.
1650
1651 2004-02-23  David Fritz  <zeroxdf@att.net>
1652
1653         * mswindows.h: Ditto.
1654
1655         * mswindows.c: Misc. formatting/comment tweaks throughout.
1656
1657 2004-02-20  David Fritz  <zeroxdf@att.net>
1658
1659         * main.c (print_help): Remove call to ws_help().
1660
1661         * mswindows.c (ws_help): Remove.
1662
1663         * mswindows.h (ws_help): Remove.
1664
1665 2004-02-16  David Fritz  <zeroxdf@att.net>
1666
1667         * init.c (home_dir): Use aprintf() instead of xmalloc()/sprintf().
1668         Under Windows, if $HOME is not defined, use the directory that
1669         contains the Wget binary instead of hard-coded `C:\'.
1670         (wgetrc_file_name): Under Windows, look for $HOME/.wgetrc then, if
1671         not found, look for wget.ini in the directory of the Wget binary.
1672
1673         * mswindows.c (ws_mypath): Employ slightly more robust methodology.
1674         Strip trailing path separator.
1675
1676 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
1677
1678         * http.c (gethttp): Respect --ignore-length.
1679         (gethttp): Inhibit keep-alive if --ignore-length is specified.
1680
1681 2004-02-06  Hrvoje Niksic  <hniksic@xemacs.org>
1682
1683         * connect.c (sockaddr_set_data): Zero out
1684         sockaddr_in/sockaddr_in6.  Apparently BSD-derived stacks need this
1685         when binding a socket to local address.
1686
1687 2004-02-04  Hrvoje Niksic  <hniksic@xemacs.org>
1688
1689         * hash.c: Make the file compilable outside Wget source tree when
1690         -DSTANDALONE is used.
1691
1692 2004-01-29  Hrvoje Niksic  <hniksic@xemacs.org>
1693
1694         * utils.c (determine_screen_width): Return 0 if not running on
1695         Windows or on a TIOCGWINSZ-capable system.
1696
1697 2004-01-28  David Fritz  <zeroxdf@att.net>
1698
1699         * utils.c (determine_screen_width): Correctly determine console
1700         width under Windows.
1701
1702 2004-01-28  Christian Biere  <christianbiere@gmx.de>
1703
1704         * progress.c (bar_set_params): Fixed syntax error when HAVE_ISATTY
1705         was undefined.
1706
1707         * ftp.c (ftp_loop_internal): Allocate a larger buffer in case
1708         "try" gets translated to something large.  Ditto in http_loop in
1709         http.c.
1710
1711         * http.c (response_header_copy): Don't write to buf[BUFSIZE].
1712
1713         * ftp-opie.c (skey_response): Eliminate unnecessary string
1714         concatenation; just call gen_md5_update twice.
1715
1716 2004-01-25  Hrvoje Niksic  <hniksic@xemacs.org>
1717
1718         * utils.c (xsleep): Don't call usleep with values larger than
1719         1,000,000.
1720
1721 2003-12-16  Hrvoje Niksic  <hniksic@xemacs.org>
1722
1723         * http.c (gethttp): Fix generation of `Content-Length'.
1724
1725 2003-12-15  Gisle Vanem  <giva@bgnett.no>
1726
1727         * url.c (url_skip_credentials): Fixed return value; 'url' if no
1728         credentials.
1729
1730 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
1731
1732         * url.c (url_skip_credentials): Return a pointer directly.
1733
1734 2003-12-14  Hrvoje Niksic  <hniksic@xemacs.org>
1735
1736         * url.c (url_file_name): Ditto.
1737         (parse_errors): Ditto.
1738
1739         * retr.c (retr_rate): Ditto.
1740
1741         * progress.c (create_image): Ditto.
1742
1743         * netrc.c (parse_netrc): Ditto.
1744
1745         * main.c (struct cmdline_option): Ditto.
1746         (redirect_output_signal): Ditto.
1747
1748         * init.c (commands): Ditto.
1749
1750         * ftp-ls.c (ftp_index): Ditto.
1751
1752         * cookies.c (check_domain_match): Declare the pointer to a literal
1753         string as `const'.
1754
1755 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
1756
1757         * retr.c (fd_read_body): Pass total size to progress_create, not
1758         the remaining amount.
1759
1760 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
1761
1762         * retr.c (fd_read_body): Don't fiddle with "interactive timeout"
1763         if read timeout is unset.
1764
1765 2003-12-12  Hrvoje Niksic  <hniksic@xemacs.org>
1766
1767         * connect.c (bind_local): Don't set the IPV6_V6ONLY option on the
1768         socket.
1769
1770 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
1771
1772         * url.c (url_file_name): Respect the setting of
1773         opt.protocol_directories.
1774
1775         * main.c (main): Only check for ret=='?' when longindex is unset.
1776         (option_data): New option --protocol-directories.
1777
1778 2003-12-06  Hrvoje Niksic  <hniksic@xemacs.org>
1779
1780         * ftp.c (getftp): Ditto.
1781
1782         * http.c (gethttp): Correctly calculate bandwidth as total data
1783         read divided with download time.
1784
1785         * retr.c (fd_read_body): Separate the return values for data
1786         written and read.
1787
1788 2003-12-05  Hrvoje Niksic  <hniksic@xemacs.org>
1789
1790         * http.c (H_REDIRECTED): Respect the HTTP/1.1 "303 See Other"
1791         response code.
1792         Suggested by Dan Razzell.
1793
1794 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
1795
1796         * retr.c (fd_read_body): Report the amount of data *written* as
1797         amount_read.  This is not entirely logical, but that's what the
1798         callers expect, and it's not easy to change.
1799
1800         * ftp.c (ftp_loop_internal): Ditto.
1801
1802         * http.c (http_loop): Be smarter about assigning restval; if we're
1803         in the nth pass of a download, simply use the information we have
1804         about how much data has been retrieved as restval.
1805
1806         * ftp.c (getftp): Ditto for FTP "REST" command.
1807
1808         * http.c (gethttp): When the server doesn't respect range, skip
1809         the first RESTVAL bytes of the read body.  Never truncate the
1810         output file.
1811
1812         * retr.c (fd_read_body): Support skipping initial STARTPOS octets.
1813
1814 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
1815
1816         * http.c (skip_short_body): Renamed skip_body to skip_short_body;
1817         don't bother calling fd_read_body.
1818
1819 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
1820
1821         * retr.c (fd_read_body): Sanitize arguments and document them
1822         better.  Make sure the timer is created and updated only if
1823         necessary.  Updated callers.
1824
1825 2003-11-30  Hrvoje Niksic  <hniksic@xemacs.org>
1826
1827         * http.c (skip_body): New function.
1828         (gethttp): Use it to skip the body of the responses we don't care
1829         to download.  That allows us to reuse the connection.
1830         (gethttp): Trust that the HEAD requests will not generate body
1831         data.
1832
1833         * retr.c (fd_read_body): Don't write to OUT if it's NULL.
1834
1835 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
1836
1837         * http.c (gethttp): Initialize SSL only the first time when SSL
1838         URL is downloaded.
1839
1840 2003-11-29  Hrvoje Niksic  <hniksic@xemacs.org>
1841
1842         * cookies.c (cookie_header): Only generate the contents of the
1843         header, not the leading "Cookie: " or the trailing "\r\n".
1844
1845         * http.c (gethttp): When adding headers specified with `--header',
1846         allow them to override the headers generated by Wget.
1847
1848         * init.c (cmd_spec_header): Made opt.user_headers a vector.
1849
1850         * http.c (request_new): New function.  Returns a request structure
1851         which can be modified in various ways, most notably by adding HTTP
1852         headers to the request.
1853         (request_set_header): New function for adding the header to the
1854         request.  If the header is already available, it gets replaced.
1855         (request_send): Construct and send the request.
1856         (gethttp): Use the request_* functions to generate the request.
1857
1858 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
1859
1860         * http.c (gethttp): Don't include the Proxy-Authorization header
1861         in the request tunneled through proxy.
1862
1863 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
1864
1865         * http.c (gethttp): Use the CONNECT handle to establish SSL
1866         passthrough through non-SSL proxies.
1867
1868 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
1869
1870         * init.c: Don't #include netinet/Winsock stuff.
1871
1872 2003-11-28  Hrvoje Niksic  <hniksic@xemacs.org>
1873
1874         * http.c: Deleted the old functions header_process,
1875         header_extract_number, header_exists, header_strdup,
1876         http_process_range, http_process_none, http_process_type, and
1877         http_process_connection.
1878
1879         * http.c (response_new): New function.
1880         (response_header_bounds): Ditto.
1881         (response_header_copy): Ditto.
1882         (response_header_strdup): Ditto.
1883         (response_status): Ditto.
1884         (gethttp): Use the new response_* functions to parse the response.
1885         Support HTTP/0.9 responses.
1886
1887 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
1888
1889         * progress.c (create_image): Don't calculate ETA if nothing has
1890         been downloaded yet, because it causes division by zero.
1891
1892 2003-11-27  Hrvoje Niksic  <hniksic@xemacs.org>
1893
1894         * connect.c (bind_local): Rename sa_len to addrlen because IRIX
1895         headers define sa_len as a macro.
1896
1897 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
1898
1899         * html-parse.c (convert_and_copy): Remove embedded newlines when
1900         AP_TRIM_BLANKS is specified.
1901
1902 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
1903
1904         * ftp.c: Set con->csock to -1 where rbuf_uninitialize was
1905         previously used.
1906
1907 2003-11-26  Hrvoje Niksic  <hniksic@xemacs.org>
1908
1909         * Makefile.in (http$o): Added the trailing backslash that was
1910         missing.
1911
1912 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
1913
1914         * headers.c: Removed.  The file is no longer relevant, now that no
1915         special handling of headers is done by the rbuf code.  Moved
1916         portions to http.c.
1917
1918 2003-11-21  Hrvoje Niksic  <hniksic@xemacs.org>
1919
1920         * rbuf.c: Removed.
1921
1922         * ftp-basic.c (ftp_response): Use fd_read_line.  No longer use
1923         struct rbuf.  Updated all callers.
1924
1925         * http.c (gethttp): Use fd_read_head to read all the headers in
1926         one go.
1927         (next_header): New function.
1928
1929         * retr.c (fd_read_line): New function: reads a line from FD,
1930         leaving the rest of the data unread.
1931         (fd_read_head): New function.
1932
1933         * connect.c (fd_peek): New function, implements peeking.
1934         (poll_internal): New function.
1935         (fd_read): Use it.
1936         (fd_write): Ditto.
1937         (fd_peek): Ditto.
1938         (fd_register_transport): Allow registering a "peeker" callback.
1939
1940 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
1941
1942         * connect.c: Renamed xread/xwrite/xclose to
1943         fd_read/fd_write/fd_close.  The "x" prefix is not appropriate
1944         because the semantics have diverged from read/write/close too
1945         significantly.  Updated all callers.
1946
1947 2003-11-20  Hrvoje Niksic  <hniksic@xemacs.org>
1948
1949         * connect.c (sock_write): It's not necessary to initialize RES.
1950
1951 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
1952
1953         * main.c (main): Don't reference opt.ipv4_only and opt.ipv6_only
1954         if IPv6 is disabled.
1955
1956 2003-11-19  Hrvoje Niksic  <hniksic@xemacs.org>
1957
1958         * connect.c (socket_has_inet6): Only compile it if IPv6 is enabled
1959         and AI_ADDRCONFIG is missing.
1960
1961 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
1962
1963         * gen_sslfunc.c (ssl_init_prng): Warn the user when using a weak
1964         random seed.
1965
1966 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
1967
1968         * host.c (address_list_contains): Renamed address_list_find to
1969         address_list_contains because its result is boolean.
1970
1971 2003-11-18  Hrvoje Niksic  <hniksic@xemacs.org>
1972
1973         * connect.c (select_fd): Return 1 if select is not available.
1974
1975 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
1976
1977         * connect.c (connect_to_host): Don't reference address list after
1978         releasing it.
1979
1980 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
1981
1982         * main.c (print_help): Fix alignment of FTP options output.
1983
1984 2003-11-17  Hrvoje Niksic  <hniksic@xemacs.org>
1985
1986         * host.c (lookup_host): Check for the ability to create IPv6
1987         sockets here.
1988
1989         * init.c (defaults): Don't auto-set --inet4-only on IPv6-less
1990         systems.
1991
1992 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
1993
1994         * main.c (print_help): Fix typo in `-O' help message.  Fix docs of
1995         -Y/--proxy.  Fix docs of `--cookies' and `--glob'.  Improve docs
1996         of --convert-links.  Fix docs of SSL options.
1997
1998 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
1999
2000         * ftp-basic.c: Don't include <arpa/inet.h> and others because
2001         they're no longer needed.
2002
2003 2003-11-16  Hrvoje Niksic  <hniksic@xemacs.org>
2004
2005         * main.c (main): Don't allow setting of both opt.ipv4_only and
2006         opt.ipv6_only.
2007
2008         * init.c (defaults): Mark opt.ipv4_only specially when set
2009         automatically.
2010
2011 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
2012
2013         * host.c (lookup_host): Use AI_ADDRCONFIG only if the family is
2014         unspecified.  This ensures that specifying `--no-inet4' on systems
2015         where IPv6 resolves, but doesn't work behaves the same regardless
2016         of the availability of AI_ADDRCONFIG.
2017
2018 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
2019
2020         * host.c: Don't refer to the now-removed function
2021         forget_host_lookup in the documentation of lookup_host.
2022
2023 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
2024
2025         * http.c (persistent_available_p): Correctly specify the endpoint
2026         argument to socket_ip_address.
2027         (gethttp): When printing the "reusing connection to..." message,
2028         specify the host name of the reused connection, not the current
2029         host name.  That makes more sense because it provides a useful
2030         piece of information -- we know to which host we're supposed to
2031         connect anyway!
2032
2033 2003-11-15  Hrvoje Niksic  <hniksic@xemacs.org>
2034
2035         * init.c: Make sure the options are in alphabetic order!
2036
2037         * host.c (lookup_host): Merge lookup_host_passive and lookup_host
2038         after all -- having both would result in some code duplication.
2039         (lookup_host): Set hints.ai_family to AF_INET if ipv4_only is
2040         requested.  Likewise, set it to AF_INET6 for ipv6_only.  Specify
2041         AI_ADDRCONFIG where available.
2042         (lookup_host): New flag LH_REFRESH that specifies that a cached
2043         entry for HOST should be refreshed.
2044         (cache_query): New function.
2045         (cache_store): Ditto.
2046         (cache_remove): Ditto.
2047         (forget_host_lookup): No longer necessary, replaced with static
2048         function cache_remove.
2049
2050 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
2051
2052         * main.c: Enable -4 and -6 only if IPv6 is enabled.
2053
2054 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
2055
2056         * connect.c (register_transport): Renamed from register_extended.
2057         Explain the intended usage.
2058
2059 2003-11-14  Hrvoje Niksic  <hniksic@xemacs.org>
2060
2061         * url.c (uri_merge): Merging "foo" and "bar" should result in
2062         "bar", not in "foo/bar".
2063         (path_simplify): Don't remove empty path elements; don't
2064         special-case leading slash.
2065         (path_simplify): Don't swallow ".."'s at the beginning of string.
2066         E.g. simplify "foo/../../bar" as "../bar", not as "bar".
2067         (append_uri_pathel): Defang ".." path element upon encountering
2068         it.
2069
2070 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
2071
2072         * http.c (persistent_available_p): Don't attempt to talk to two
2073         different SSL sites over the same secure connection.
2074
2075 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
2076
2077         * http.c (gethttp): Ditto.
2078
2079         * ftp.c (getftp): Use retryable_socket_connect_error instead of
2080         CONNECT_ERROR.
2081
2082         * wget.h (CONNECT_ERROR): Removed.
2083
2084         * connect.c (retryable_socket_connect_error): New function instead
2085         of unsupported_socket_family_error.
2086
2087 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
2088
2089         * wget.h (CONNECT_ERROR): Use it.
2090
2091         * connect.c (unsupported_socket_family_error): New function.
2092
2093 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
2094
2095         * connect.c (bind_local): Renamed bindport to bind_local; return
2096         the socket directly.  Updated callers.
2097         (accept_connection): Renamed acceptport to accept_connection;
2098         return the created socket directly.  Updated callers.
2099
2100 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
2101
2102         * init.c (defaults): Turn on opt.ipv4_only if we're compiling with
2103         IPv6, and AI_ADDRINFO is not available, and AF_INET6 sockets can't
2104         be created.
2105
2106 2003-11-13  Hrvoje Niksic  <hniksic@xemacs.org>
2107
2108         * host.c (lookup_host): Document the fact that the addresses are
2109         returned in order.
2110
2111 2003-11-12  Hrvoje Niksic  <hniksic@xemacs.org>
2112
2113         * utils.c: Use limits.h only where available.
2114
2115         * hash.c: Use INVALID_PTR and INVALID_PTR_BYTE.  Include limits.h.
2116
2117 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
2118
2119         * main.c: Added options --inet4-only and --inet6-only.
2120
2121 2003-11-11  Hrvoje Niksic  <hniksic@xemacs.org>
2122
2123         * host.c (host_errstr): Use the more standard message "Unknown
2124         host".
2125
2126 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
2127
2128         * connect.c (connect_to_host): Use that flag to decide whether to
2129         re-resolve the host name.
2130
2131         * host.c (struct address_list): Added a flag that maintains
2132         whether the connection worked at some point.
2133
2134 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
2135
2136         * host.c (lookup_host): Special-case the numeric addresses only in
2137         the non-IPv6 case.
2138
2139 2003-11-10  Hrvoje Niksic  <hniksic@xemacs.org>
2140
2141         * connect.c (resolve_bind_address): Call lookup_host_passive.
2142         Make sure that opt.bind_address is resolved only once.
2143
2144         * host.c (lookup_host_passive): New function, handles "passive"
2145         lookups.
2146         (lookup_host): Remove the passive flags.  Remove the
2147         family-related flags -- use ip_default_family instead.
2148
2149 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
2150
2151         * html-url.c: Get URLs from <object data="...">.
2152
2153 2003-11-09  Hrvoje Niksic  <hniksic@xemacs.org>
2154
2155         * main.c (option_data): Specify the command to use for --mirror.
2156
2157 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2158
2159         * cookies.c (cookie_handle_set_cookie): Specify exact match for
2160         unspecified domains.
2161
2162 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2163
2164         * main.c (main): Removed one-letter options `-C', `-g', `-G', and
2165         `-s'.
2166
2167 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2168
2169         * main.c (main): Add --dont-remove-listing for backward
2170         compatibility with previous versions.
2171         (print_help): Fix typo, spotted by Dennis Smit.
2172
2173 2003-11-08  Gisle Vanem  <giva@bgnett.no>
2174
2175         * ftp-basic.c: Support Windows-2000 ftp servers. Win-2000 *is*
2176         Win-NT 5.0 so calling it ST_WINNT is okay I guess.
2177
2178 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2179
2180         * progress.c (update_speed_ring): Clear the speed ring when the
2181         download stalls.
2182
2183         * retr.c (get_contents): Specify 0.95s read timeout, so that the
2184         progress gauge can be updated even when data arrives very slowly
2185         or stalls.
2186
2187 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2188
2189         * utils.c (wtimer_allocate): Bless the use of wtimer_read on a
2190         timer that has merely been allocated because get_contents() does
2191         that.
2192         (wtimer_update): Abort if the timer is not initialized.
2193
2194 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2195
2196         * retr.c (get_contents): Pass the timer to limit_bandwidth().
2197
2198         * utils.c (wtimer_update): New function instead of wget_elapsed;
2199         just update the timer, but don't return anything.
2200         (wtimer_read): Read and return the last known value of the timer.
2201
2202 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2203
2204         * http.c (persistent_available_p): Instead of matching all the
2205         addresses of HOST and last host, determine the peer's IP address
2206         with socket_ip_address and see if that address is one of those
2207         HOST resolves to.
2208
2209         * host.c (address_list_match_all): Removed.
2210         (address_list_find): New function, finds an IP address in the
2211         address list.
2212
2213         * ftp.c (ftp_do_pasv): Get the peer's address here, and pass it to
2214         ftp_epsv so it doesn't need to call getpeername.
2215
2216         * ftp-basic.c (ftp_port): Use socket_ip_address instead of
2217         getpeername.
2218         (ftp_lprt): Ditto.
2219
2220         * connect.c (socket_ip_address): Replaces conaddr, generalized to
2221         either get peer's or local address.
2222         (sockaddr_get_data): Made local to this file.
2223
2224 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2225
2226         * hash.c (HASH_POSITION): Explicitly accept the hash function.
2227         (grow_hash_table): Extract ht->hash_function outside the loop.
2228         (hash_table_remove): Ditto.
2229         (hash_table_clear): Fill entries with 0xff to clear them.
2230         (hash_table_remove): Mark entries as deleted with the correct
2231         marker.
2232
2233 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2234
2235         * http.c (persistent_available_p): No reason for the host lookup
2236         to be silent -- it's a lookup like any other.
2237
2238 2003-11-08  Hrvoje Niksic  <hniksic@xemacs.org>
2239
2240         * connect.c (register_extended): Check that fd >= 0.
2241
2242 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
2243
2244         * connect.c (LAZY_RETRIEVE_INFO): Set LAST_INFO.
2245
2246 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
2247
2248         * hash.c (NON_EMPTY): Use the all-bit-set value as the marker that
2249         the field is empty.  This allows NULL pointer and 0 value to be
2250         used as keys, which is necessary for the connect.c code to work
2251         when fd==0.
2252         (hash_table_new): Fill mappings with 0xff.
2253         (grow_hash_table): Ditto.
2254
2255 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
2256
2257         * url.c (url_parse): Allow empty ports.
2258
2259 2003-11-07  Hrvoje Niksic  <hniksic@xemacs.org>
2260
2261         * main.c (print_help): Break the help string into multiple chunks.
2262         (cmdline_option): New option handler OPT_FUNCALL.  Generalized
2263         HANDLE_CMD to generic DATA.
2264         (option_data): Use the new OPT_FUNCALL feature.
2265
2266 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
2267
2268         * log.h: Declare log_init, log_close, and
2269         log_request_redirect_output here.
2270
2271 2003-11-05  Dennis Smit  <ds@nerds-incorporated.org>
2272
2273         * main.c: (main): added --preserve-permissions option.
2274
2275         * ftp.c (ftp_retrieve_list): added support for
2276         --preserve-permissions option.
2277
2278         * init.c: added support for --preserve-permission option.
2279
2280         * option.h: added support for --preserve-permission option.
2281
2282 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
2283
2284         * main.c (init_switches): New function.  Convert option_data to
2285         long_options and short_options, which can be fed to getopt_long.
2286         (main): Execute command-line options by consulting option_data.
2287
2288 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
2289
2290         * gen_sslfunc.c (ssl_read): Implement a more correct check for
2291         EINTR.
2292         (ssl_write): Ditto.
2293         (init_ssl): Use a global SSL context.
2294
2295 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
2296
2297         * connect.c (xclose): Free INFO even if it doesn't provide a
2298         closer.
2299
2300 2003-11-06  Hrvoje Niksic  <hniksic@xemacs.org>
2301
2302         * connect.c: Updated all callers of
2303         iread/ssl_iread/iwrite/ssl_iwrite to use xread and xwrite instead.
2304
2305         * rbuf.h (struct rbuf): Removed the SSL member because SSL is
2306         handled automatically by xread.
2307
2308         * hash.c (ptrhash): Made private.
2309         (ptrcmp): Ditto.
2310         (inthash): Removed.
2311
2312         * connect.c (select_fd): Don't set errno, leave it to the caller.
2313
2314         * gen_sslfunc.c (connect_ssl): Use register_extended to register
2315         SSL callbacks for communication with SSL-enabled endpoints.
2316         (ssl_read): New function.
2317         (ssl_write): Ditto.
2318         (ssl_poll): Ditto.
2319         (ssl_close): Ditto.
2320
2321         * connect.c (register_extended): New function -- register
2322         callbacks for basic socket operations.
2323         (xread): Ditto.
2324         (xwrite): Ditto.
2325         (xclose): Ditto.
2326         (sock_read): New function, default implementation for reading.
2327         (sock_write): Ditto for writing.
2328         (sock_poll): Ditto for polling.
2329         (sock_close): Ditto for closing.
2330
2331 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
2332
2333         * connect.c (bindport): Fix compilation under pre-C99 compilers.
2334
2335 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
2336
2337         * connect.c (connect_to_ip): More compact error checking.
2338         (bindport): Don't treat failed setsockopt as a fatal error.
2339
2340 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
2341
2342         * connect.c (resolve_bind_address): Use a more accurate error
2343         message -- we're not binding to ANY, we're disabling bind
2344         altogether.
2345
2346 2003-11-05  Hrvoje Niksic  <hniksic@xemacs.org>
2347
2348         * cookies.c (save_cookies_mapper): Respect the setting of
2349         keep-session-cookies.
2350         (cookie_jar_load): Import session cookies.
2351         Based on code submitted by Nicolas Schodet.
2352
2353         * utils.c (datetime_str): Use information in TM when it's
2354         non-NULL.
2355
2356         * main.c (main): New option `--keep-session-cookies'.
2357
2358 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
2359
2360         * Makefile.in (realclean): Delete config.h.in.
2361
2362 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
2363
2364         * config-post.h: New file, included from now autogenerated
2365         config.h.in.
2366
2367 2003-11-04  Hrvoje Niksic  <hniksic@xemacs.org>
2368
2369         * progress.c (progress_handle_sigwinch): Don't call
2370         determine_screen_width() from the signal handler.  Instead, just
2371         set a volatile variable.
2372         (bar_create): Check whether SIGWINCH was received.
2373         (bar_update): Ditto.
2374
2375         * sysdep.h: Define SYSTEM_FNMATCH only if HAVE_FNMATCH_H is true.
2376
2377 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
2378
2379         * utils.c (xsleep): New function.  Uses nanosleep where available,
2380         resuming sleeps interrupted by signals.  Updated callers of sleep
2381         and usleep to use xsleep.
2382
2383 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
2384
2385         * ftp-basic.c (ftp_login): Remove shadowing (and bogus)
2386         declaration of SEED.
2387
2388 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
2389
2390         * log.c (logvprintf): Documented better.  Renamed to
2391         log_vprintf_internal to avoid confusion with the public API
2392         functions logprintf and logputs.
2393
2394 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
2395
2396         * wget.h (N_): Don't parenthesize argument.
2397
2398 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
2399
2400         * host.h (ADDRESS_IPV4_DATA): Don't take the address of in.s_addr
2401         because that doesn't work on machines that define it as bitfield.
2402
2403 2003-11-03  Hrvoje Niksic  <hniksic@xemacs.org>
2404
2405         * connect.c (select_fd): Generalize the third argument into WAIT,
2406         so that the caller can request waiting for both read and write.
2407         Updated callers.
2408
2409 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
2410
2411         * html-url.c (cleanup_html_url): Destroy the hash tables, don't
2412         just call free on them.
2413         (init_interesting): Use hash_table_put instead of string_set_add
2414         because we don't need the strdup that the latter function
2415         performs.
2416
2417         * init.c (cleanup): Don't pass NULL to cookie_jar_delete.
2418
2419         * xmalloc.c (xfree_real): Abort when passed a NULL pointer.
2420         (xfree_debug): Print at the file and line of the offending call to
2421         free.
2422
2423 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
2424
2425         * wget.h: Retired the `boolean' type.  Moved the DEFAULT_LOGFILE
2426         define to log.h.  Moved the INFINITE_RECURSION define to recur.h.
2427
2428         * xmalloc.h: Renamed FREE_MAYBE to xfree_null and moved the
2429         definition from wget.h to xmalloc.h.
2430
2431 2003-11-02  Hrvoje Niksic  <hniksic@xemacs.org>
2432
2433         * html-parse.c (decode_entity): New function; split the decoding
2434         of entities here.
2435         (convert_and_copy): Use it to decode entities.
2436         (decode_entity): Handle the &apos entity.
2437         (decode_entity): Don't decode Latin 1 numeric entities.  Don't
2438         decode &#0.
2439
2440 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
2441
2442         * ftp-opie.c (calculate_skey_response): Use uint32_t instead of
2443         `unsigned long' for the cheksum array.  Document the function.
2444
2445 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
2446
2447         * connect.c (acceptport): Don't call select_fd when timeout is not
2448         requested.
2449
2450 2003-11-01  Hrvoje Niksic  <hniksic@xemacs.org>
2451
2452         * host.c: Removed the ip_default_family global variable.
2453
2454         * host.c (lookup_host): Document the function.  Fixed declaration
2455         of VEC.
2456
2457 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
2458
2459         * various: Use new macros xnew, xnew0, xnew_array, and xnew0_array
2460         in various places.
2461
2462 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
2463
2464         * wget.h: Move declarations of malloc and logging code to
2465         xmalloc.h and log.h respectively to unclutter this file.
2466         (STRDUP_ALLOCA): Made it side-effect free.
2467
2468         * xmalloc.h: New files.  Define macros xnew, xnew0, xnew_array,
2469         and xnew0_array.
2470
2471         * xmalloc.c: New file.  Move the xmalloc routines here.
2472
2473 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
2474
2475         * connect.c (sockaddr_set_data): Remove the broken code that
2476         checked for NULL address.
2477
2478 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
2479
2480         * host.c (address_list_from_single): Removed.
2481         (address_list_from_ipv4_addresses): Renamed from
2482         address_list_from_vector.
2483
2484 2003-10-31  Hrvoje Niksic  <hniksic@xemacs.org>
2485
2486         * sysdep.h (CLOSE): Don't call close on file descriptors less than
2487         0, i.e. on uncreated sockets.
2488
2489         * connect.c (resolve_bind_address): Work on struct sockaddr
2490         directly.
2491         (connect_to_host): Replacement for connect_to_many.  Resolve HOST
2492         and connect to any of its addresses.  If we can't connect and the
2493         host name lookup was cached, try to resolve it again.  This should
2494         fix problems with hosts behind dynamic DNS.  Updated all callers.
2495         (connect_to_ip): Replacement for connect_to_one.  Removed SILENT;
2496         added the argument PRINT instead.  Updated all callers.
2497         (set_connection_host_name): Removed.
2498
2499         * host.c (address_list_address_at): New function instead of
2500         address_list_copy_one. It returns a pointer to ip_address *, so
2501         it's not necessary to copy the data.
2502         (address_list_cached_p): New function.
2503         (forget_host_lookup): Ditto.
2504
2505         * connect.c: Got rid of the MSOCK global variable.  Made bindport
2506         return the local socket it creates.  Added a new argument to
2507         acceptport, the socket to call accept on.  Updated callers.
2508         (closeport): Removed.
2509
2510         * connect.c: Moved the sockaddr code from host.c to this file,
2511         because most of that stuff is used for connecting, and has nothing
2512         to do with host names anyway.
2513         (sockaddr_set_data, sockaddr_get_data): New functions, replace the
2514         old sockaddr_set_address, sockaddr_set_port, sockaddr_get_address,
2515         and sockaddr_get_port.
2516
2517 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
2518
2519         * sysdep.h: Use `S >= 8' rather than `S == 8' when looking for
2520         large integers.
2521
2522 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
2523
2524         * url.c (append_uri_pathel): New argument ESCAPED_P that says
2525         whether [B, E) is to be treated as URL-escaped or not.  If
2526         ESCAPED_P is false, don't unescape the region.
2527         (url_file_name): u->file is not URL-escaped.
2528
2529 2003-10-30  Hrvoje Niksic  <hniksic@xemacs.org>
2530
2531         * retr.c (retrieve_from_file): Use retrieve_tree for
2532         page-requisites.
2533
2534         * main.c (main): Don't define opt.recursive when -p is used.
2535         Instead, make sure that recursion is used for HTTP in that case.
2536
2537 2003-10-29  Hrvoje Niksic  <hniksic@xemacs.org>
2538
2539         * host.h: Defined accessors for elements of ip_address.  Updated
2540         all callers.
2541         (address_list_match_all): Use memcmp in the non-IPv6 case.
2542
2543         * wget.h (CONNECT_ERROR): Don't retry connecting if connect()
2544         returned EAFNOSUPPORT.
2545
2546 2003-10-27  Mauro Tortonesi <mauro@deepspace6.net>
2547
2548         * connect.h: changed bindport prototype and added the related
2549         BIND_ON_IPV4_ONLY and BIND_ON_IPV6_ONLY flags.
2550
2551         * connect.c: changed bindport and resolve_bind_address to allow
2552         protocol-version specific DNS resolution. modified conaddr,
2553         acceptport and connect_to_one to make use of struct
2554         sockaddr_storage and of the new ip_address structure.
2555
2556         * ftp-basic.c: added LPRT/LPSV (RFC1639) support, refactored
2557         PORT/PASV (RFC959) and EPRT/EPSV (RFC2428) support code.
2558
2559         * ftp.c: added the ftp_do_port and ftp_do_pasv functions to
2560         handle FTP over IPv6.
2561
2562         * ftp.h: changed prototype of ftp_epsv and added prototypes for
2563         ftp_lpsv, ftp_lprt and ftp_eprt.
2564
2565         * host.c: renamed the
2566         wget_sockaddr_set_address and wget_sockaddr_get_addr, and
2567         wget_sockaddr_{s,g}et_port couples to sockaddr_{s,g}et_address and
2568         sockaddr_{g,s}et_port respectively.  changed
2569         address_list_match_all, address_list_from_addrinfo sockaddr_len,
2570         pretty_print_address, lookup_host, sockaddr_{s,g}et_address and
2571         sockaddr_{g,s}et_port to make use of struct sockaddr_storage and
2572         of the new ip_address structure.  removed map_ipv4_to_ip and
2573         map_ip_to_ipv4.
2574
2575         * host.h: redefined structure ip_address and removed structure
2576         wget_sockaddr.
2577
2578 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
2579
2580         * sysdep.h: Include inttypes.h where available.
2581
2582         * host.c: Switch from u_int32_t to uint32_t.
2583
2584 2003-10-26  Hrvoje Niksic  <hniksic@xemacs.org>
2585
2586         * netrc.c (parse_netrc): Reset the QUOTE flag after the closing
2587         quote.
2588
2589 2003-10-25  Hrvoje Niksic  <hniksic@xemacs.org>
2590
2591         * url.c (is_valid_ipv6_address): Reformat to GNU coding style.
2592         Use enums for NS_IN* constants.  Use ISXDIGIT.
2593
2594         * convert.c (construct_relative): Document better how the function
2595         works.
2596
2597 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
2598
2599         * config.h.in: Deploy preprocessor magic to avoid Ultrix's
2600         <netdb.h> include <bitypes.h> which defines its own u_int32_t.
2601         Reported by Bernhard Simon.
2602
2603 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
2604
2605         * version.c: Bump version.
2606
2607 2003-10-23  Hrvoje Niksic  <hniksic@xemacs.org>
2608
2609         * url.c: Ditto.
2610
2611         * html-parse.c (advance_declaration): Don't use trailing comma in
2612         enum because older compilers don't support it.
2613
2614         * utils.c: Don't redefine HAVE_SIGSETJMP.
2615
2616 2003-10-16  Hrvoje Niksic  <hniksic@xemacs.org>
2617
2618         * convert.c (construct_relative): Don't handle absolute files
2619         specially -- for example, -P/tmp/foo shouldn't imply that
2620         converted files must refer to "/tmp/foo/..."!
2621
2622 2003-10-15  Hrvoje Niksic  <hniksic@xemacs.org>
2623
2624         * http.c: Consider status 307 a valid redirect.
2625
2626 2003-10-15  Philip Stadermann  <philip.stadermann@credativ.de>
2627
2628         * ftp.c (ftp_retrieve_glob): Correctly loop through the list whose
2629         elements might have been deleted.
2630
2631 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
2632
2633         * html-url.c (tag_handle_meta): Set the Refresh link to expect
2634         HTML.
2635         (append_one_url): Renamed to append_url.
2636
2637 2003-10-13  Hrvoje Niksic  <hniksic@xemacs.org>
2638
2639         * sysdep.h: Only define u_int32_t.
2640
2641 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
2642
2643         * utils.c (large_int_to_string): Use snprintf() to print the
2644         number.  This will work even on systems where libc doesn't
2645         understand %lld, but the compiler does, because it will use our
2646         snprintf replacement.
2647
2648         * init.c (parse_bytes_helper): New function.
2649         (cmd_bytes): Use it to parse bytes, but cast the result to long.
2650         (cmd_bytes_large): Ditto, but store the result to LARGE_INT.  Used
2651         for --quota so that --quota=10G works even on machines without
2652         long long.
2653
2654         * options.h (struct options): Declare quota as LARGE_INT.
2655
2656         * retr.c (downloaded_exceeds_quota): Removed.
2657         (downloaded_increase): Ditto.
2658         (total_downloaded_bytes): New variable, replaces opt.downloaded,
2659         which was the wrong place for it anyway.  Updated callers of
2660         downloaded_exceeds_quota and downloaded_increase to check this
2661         variable directly.
2662
2663         * sysdep.h: Get rid of VERY_LONG_TYPE.  Use LARGE_INT for the same
2664         purpose, defined as `long', `long long' or `double', depending on
2665         size of long and whether long long is available.
2666
2667 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
2668
2669         * sysdep.h: Also check size of short for int32_t.
2670
2671 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
2672
2673         * host.c (lookup_host): Use u_int32_t to store the result of
2674         inet_addr().  That removes the need for offset fiddling, caring
2675         about endian-ness, etc.
2676
2677         * sysdep.h: Define int32_t and u_int32_t if not available.
2678
2679 2003-10-11  Hrvoje Niksic  <hniksic@xemacs.org>
2680
2681         * ftp-basic.c (ftp_epsv): Use socklen_t * as the third argument to
2682         getpeername.
2683
2684         * config.h.in: Define socklen_t stub.
2685
2686         * host.c (sockaddr_len): Return socklen_t.
2687
2688         * connect.c (conaddr): Use socklen_t as the third argument to
2689         accept, getsockname, and connect.
2690
2691 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
2692
2693         * recur.c (retrieve_tree): Don't descend into documents that are
2694         not expected to contain HTML, regardless of their content-type.
2695
2696         * html-url.c (tag_url_attributes): Record which attributes are
2697         supposed to yield HTML links that can be followed.
2698         (tag_find_urls): Propagate that information to the caller through
2699         struct urlpos.
2700
2701 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
2702
2703         * hash.c (find_mapping): Return the next available mapping when
2704         the key is not found, not NULL.
2705         (hash_table_put): Use find_mapping to find the storage for the new
2706         data.
2707         (hash_table_put): Grow the table before exceeding maximum
2708         fullness, not afterwards.
2709
2710 2003-10-10  Hrvoje Niksic  <hniksic@xemacs.org>
2711
2712         * hash.c (hash_table_new): Slightly change the meaning of the
2713         first parameter.  Instead of being the minimum initial size, it is
2714         now the minimum number of items that the hash table can take
2715         without needing to resize.
2716
2717 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
2718
2719         * html-url.c (init_interesting): Initialize interesting_tags and
2720         interesting_attributes as hash tables.  This simplifies the code
2721         immensely because hash tables handle allocation and remove
2722         duplicates automatically.
2723         (find_tag): Removed.
2724         (collect_tags_mapper): Instead of calling find_tag, simply get the
2725         entry from interesting_tags hash table, which is both simpler and
2726         faster.
2727
2728 2003-10-09  Hrvoje Niksic  <hniksic@xemacs.org>
2729
2730         * hash.c (hash_table_get): Declare hash-table argument as const.
2731         (find_mapping): Ditto.
2732         (hash_table_get_pair): Ditto.
2733         (hash_table_contains): Ditto.
2734         (hash_table_count): Ditto.
2735
2736 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2737
2738         * html-url.c (get_urls_html): Parse the appropriate flags to
2739         html-parse.c.
2740
2741         * html-parse.c (map_html_tags): Accept FLAGS from the caller
2742         instead of examining OPT.
2743
2744 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2745
2746         * html-url.c (find_tag): Switch to binary search.
2747
2748 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2749
2750         * main.c (print_help): Fix typo; stured -> stored.
2751
2752 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2753
2754         * getopt.c: Add definitions of getopt_long and getopt_long_only.
2755
2756 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2757
2758         * config.h.in: Renamed DEBUG to ENABLE_DEBUG.  ENABLE_DEBUG is, I
2759         think, a better name, because it implies that debugging output is
2760         merely possible, not "on by default", as might be construed from
2761         just DEBUG.
2762
2763 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2764
2765         * ftp.c (has_insecure_name_p): Define it here.
2766
2767         * utils.c (has_wildcards_p): Define it here.
2768
2769         * sysdep.h: Declare fnmatch-related macros here, if not using
2770         system fnmatch().  Update .c files to not declare fnmatch.h
2771         directly.
2772
2773         * cmpt.c (fnmatch): Moved here.  Use it only under non-GNU libc.
2774
2775 2003-10-08  Hrvoje Niksic  <hniksic@xemacs.org>
2776
2777         * getopt.c: Newer version, imported from Free libit.
2778
2779 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
2780
2781         * cookies.c (struct cookie): Remove unused backpointer to cookie
2782         jar.
2783
2784 2003-10-07  Hrvoje Niksic  <hniksic@xemacs.org>
2785
2786         * cmpt.c (memmove): Comment out, since it's no longer used.
2787
2788         * cookies.c (cookie_jar_generate_cookie_header): Allocate room for
2789         chains in one pass.
2790         (find_chains_of_host): Assume that the caller has allocated DEST
2791         to be sufficiently large to take all the data.
2792         (eliminate_dups): Run through the array and eliminate dups on the
2793         fly instead of using memmove.
2794         (cookie_jar_process_set_cookie): Free cookie->domain before
2795         re-setting it.
2796
2797 2003-10-05  Gisle Vanem  <giva@bgnett.no>
2798
2799         * mswindows.c (set_sleep_mode): Fix type of
2800         _SetThreadExecutionState.
2801
2802 2003-10-05  Hrvoje Niksic  <hniksic@xemacs.org>
2803
2804         * utils.c (file_size): Return -1 if fopen() returns NULL.  Prior
2805         to this patch, wget --post-file=nosuchfile dumped core.
2806
2807 2003-10-04  Gisle Vanem  <giva@bgnett.no>
2808
2809         * mswindows.c (run_with_timeout): Use WaitForSingleObject to wait
2810         for thread termination.
2811
2812 2003-10-04  Hrvoje Niksic  <hniksic@xemacs.org>
2813
2814         * log.c: Use `...' in function definitions; ansi2knr will convert
2815         them to va_dcl.  This allowed removal of the ugly VA_START_1 and
2816         VA_START_2 macros.
2817
2818 2003-10-03  Gisle Vanem  <giva@bgnett.no>
2819
2820         * connect.c: And don't include them here.
2821
2822         * mswindows.h: Include winsock headers here.
2823
2824 2003-10-03  Hrvoje Niksic  <hniksic@xemacs.org>
2825
2826         * html-parse.c (convert_and_copy): Move variable declarations
2827         before statements.
2828
2829 2003-10-02  Gisle Vanem  <giva@bgnett.no>
2830         
2831         * mswindows.c (run_with_timeout): For Windows: Run the 'fun' in a
2832         thread via a helper function. Continually query the thread's
2833         exit-code until finished or timed out.
2834
2835 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
2836
2837         * wget.h (XMALLOC_ARRAY): Removed.
2838         (ALLOCA_ARRAY): Ditto.
2839
2840         * html-parse.c: Renamed alloca_p to resized.
2841         (GROW_ARRAY): Renamed DO_REALLOC_FROM_ALLOCA to GROW_ARRAY and
2842         returned it to html-parse.c, since nothing else was using it.
2843
2844 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
2845
2846         * retr.c (retrieve_url): Initialize DUMMY storage for DT.  Caught
2847         by valgrind.
2848
2849 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
2850
2851         * html-parse.c (convert_and_copy): Handle numeric entities in
2852         hexadecimal, &#xHH.
2853         (convert_and_copy): Copy the contents directly to the pool without
2854         a stack-allocated intermediary.
2855
2856 2003-10-02  Hrvoje Niksic  <hniksic@xemacs.org>
2857
2858         * utils.c (alarm_set): New function; use either setitimer or alarm
2859         to set up the alarm.
2860         (alarm_cancel): New function; cancel the alarm set up by
2861         alarm_set.
2862         (run_with_timeout): Use them.
2863
2864 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
2865
2866         * url.c (url_parse): Don't leak memory when a reencoded URL turns
2867         out to be invalid.
2868
2869         * url.c (parse_errors): Mark error messages for translation.
2870         (url_error): Translate error messages returned to the caller.
2871
2872 2003-10-01  Hrvoje Niksic  <hniksic@xemacs.org>
2873
2874         * ftp.c (ftp_loop_internal): Initialize TMRATE to NULL to shut up
2875         the compiler.
2876
2877 2003-09-26  Gisle Vanem  <giva@bgnett.no>
2878
2879         * src/mswindows.c: Added ws_percenttitle() showing progress in the
2880         window titlebar. Called from retr.c. Secured ws_mypath().
2881
2882         * windows/config.h.ms: alloca() prototype not needed.  Removed
2883         "#undef ENABLE_NLS"; should be in Makefile IMHO. Moved
2884         WGET_USE_STDARG from mswindows.h to config.ms.h because of #ifdef
2885         in log.c. (MSVC's vararg.h and stdarg.h are incompatible).
2886
2887 2003-09-29  Aaron Hawley <Aaron.Hawley@uvm.edu>
2888
2889         * ftp.c (getftp): --spider option should now work with FTP
2890         downloads.
2891         (ftp_loop_internal): quiet reports and calculations of downloads
2892         when --spider option set, nor try deleting when --delete-after
2893         also set.
2894         (ftp_loop): --spider will skip HTML-ification of .listing file.
2895
2896 2003-09-26  Gisle Vanem  <giva@bgnett.no>
2897
2898         * mswindows.c (read_registry): Removed.
2899         (set_sleep_mode): New function.
2900         (windows_main_junk): Call it.
2901
2902 2003-09-26  Gisle Vanem  <giva@bgnett.no>
2903
2904         * mswindows.c (read_registry): Fix invocation of registry
2905         functions.
2906
2907         * mswindows.c (read_registry): Condition definitions of sleep and
2908         usleep with not HAVE_SLEEP and HAVE_USLEEP respectively.  Define
2909         HAVE_SLEEP and HAVE_USLEEP under __DMC__.
2910
2911 2003-09-24  Hrvoje Niksic  <hniksic@xemacs.org>
2912
2913         * url.c (url_escape_1): Revert unintentional change to lowercase
2914         xdigit escapes.
2915         (url_escape_dir): Document that this function depends on the
2916         output of url_escape_1.
2917
2918 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
2919
2920         * progress.c (create_image): Print the current ETA if we're done
2921         with the download.
2922         (create_image): Change '-' display char to '+' in the progress bar.
2923
2924         * Makefile.in (clean): Remove .libs.
2925
2926 2003-09-23  Hrvoje Niksic  <hniksic@xemacs.org>
2927
2928         * cookies.c (struct cookie): New flag domain_exact.
2929         (update_cookie_field): Skip leading dot in domain.
2930         (find_matching_chains): Match numeric addresses exactly; don't
2931         needlessly copy HOST to the stack.
2932         (matching_cookie): Added argument HOST.  If cookie->domain_exact
2933         is set, check that HOST is equal to cookie->domain.
2934         (cookie_jar_load): Only use TAB as delimiter.  Document the
2935         meaning of DOMAIN-FLAG.  Skip leading dot in domain.
2936         (cookie_jar_load): Don't ignore DOMAIN-FLAG -- instead, set
2937         domain_exact to true if DOMAIN-FLAG is false.
2938         (save_cookies_mapper): If domain_exact is false, prepend the
2939         domain with dot, like Mozilla does.
2940
2941 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
2942
2943         * progress.c (create_image): Print the initial part of the
2944         download with '-' characters, analogous to how dot progress prints
2945         the initial part with ','.
2946
2947         * hash.c (ptrhash): New function.
2948         (ptrcmp): Ditto.
2949         (hash_table_new): Default to identity hash table.
2950
2951 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
2952
2953         * safe-ctype.h (_sch_test): The cast of BIT to unsigned char was
2954         broken -- _sch_istable bitmasks are 16-bit, not 8-bit!  Cast BIT
2955         to unsigned short instead.
2956
2957 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
2958
2959         * url.c (path_simplify): Instead of calls to memmove, handle "./"
2960         and "../" by advancing pointers.
2961
2962 2003-09-22  Hrvoje Niksic  <hniksic@xemacs.org>
2963
2964         * retr.c (getproxy): Moved from url.c.
2965
2966         * convert.c: Split off link conversion from url.c into separate
2967         file.  Also included the book-keeping stuff from recur.c.
2968
2969 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
2970
2971         * init.c: Improved documentation of functions.
2972         (cmd_boolean): Attempt to make code that tries to avoid calling
2973         strcmp for "speed" a bit more readable.
2974
2975         * init.c (simple_atof): Report error on encountering non-digit,
2976         non-"." character.
2977         (simple_atoi): Replacement for myatoi(), calling interface
2978         compatible with simple_atof.  Updated myatoi's callers.
2979
2980 2003-09-21  Bertrand Demiddelaer  <bert@b3rt.org>
2981
2982         * url.c (path_simplify): Would read two bytes past the end of the
2983         string in the "./" case.
2984
2985 2003-09-21  Matthew J. Mellon  <mellon@tymenet.com>
2986
2987         * http.c (gethttp): Recognize content-type "application/xhtml+xml"
2988         as what Wget considers "text/html".
2989
2990 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
2991
2992         * connect.c (connect_with_timeout): Made timeout type double.
2993
2994         * options.h (struct options): New members read_timeout,
2995         dns_timeout, and connect_timeout.
2996         Use them.
2997
2998 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
2999
3000         * init.c (simple_atof): New function.
3001         (cmd_time): Use it.
3002         (cmd_bytes): Accept things like "1.5k" and such.  Use simple_atof
3003         to parse decimals.
3004
3005         * retr.c (limit_bandwidth): Adjust each sleep by the error of the
3006         previous one.
3007
3008 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
3009
3010         * main.c (main): Use setoptval() for setting the options.  Use
3011         run_command for `-e'.
3012
3013         * init.c (parse_line): Rewritten to return COMIND right away.
3014         Changed linkage to static.
3015         (run_wgetrc): Use the available comind when calling setval, so it
3016         doesn't have to be computed twice.
3017         (setval_internal): New function, runs the command's action without
3018         any error checking.
3019         (setoptval): New function, does what setval used to do, but exits
3020         in case of error.
3021         (run_command): New function.
3022
3023 2003-09-21  Hrvoje Niksic  <hniksic@xemacs.org>
3024
3025         * connect.c (select_fd): Change MAXTIME's type to double.  Handle
3026         its decimal part.
3027
3028         * retr.c (sleep_between_retrievals): In the random-wait case, use
3029         random_float() to wait between 0 and 2*opt.wait seconds.
3030
3031         * utils.c (run_with_timeout): Accept `double' timeouts.  Correctly
3032         handle timeout values in (0, 1) range.
3033         (random_float): New function.
3034
3035         * options.h (struct options): Change the types of wait, waitretry,
3036         and timeout to double.
3037
3038         * init.c (cmd_time): Accept floating point time.
3039
3040 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
3041
3042         * retr.c (get_contents): Cosmetic fixes.
3043
3044 2003-09-20  Hrvoje Niksic  <hniksic@xemacs.org>
3045
3046         * url.c (uri_merge): Get rid of uri_merge_1.
3047         (uri_merge): Merge "foo//", "bar" as "foo//bar", not "foo///bar",
3048         i.e. don't add an extra slash merely because BASE ends with two
3049         slashes.
3050         (parse_credentials): Renamed from parse_uname.  Rewrittern in
3051         standard [beg, end) calling style.
3052         (url_skip_credentials): Renamed from url_skip_uname.  Made static.
3053         (url_skip_credentials): Include # and ; as terminators.  Old code
3054         would mistakenly consider "http://foo.com#hniksic@iskon.hr" to
3055         contain a username.
3056         (url_skip_scheme): Removed because it was unused.
3057         (url_has_scheme): Require "scheme" to be at least one char long.
3058
3059 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
3060
3061         * url.c (url_file_name): Expect NULL dir_prefix.
3062
3063         * init.c (cmd_file): Use a macro to prevent multiple #ifdef
3064         WINDOWS.
3065         (defaults): Set dir_prefix to NULL by default.
3066
3067 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
3068
3069         * safe-ctype.h (_sch_test): Cast BIT to unsigned char, like latest
3070         gcc does.
3071
3072 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
3073
3074         * wget.h (BOUNDED_TO_ALLOCA): Evaluate PLACE only once.
3075         (ARRAY_SIZE): Renamed to countof.  All callers updated.
3076
3077 2003-09-19  Hrvoje Niksic  <hniksic@xemacs.org>
3078
3079         * main.c (main): New option --strict-comments.
3080
3081         * html-parse.c (find_comment_end): New function: simple BM search
3082         for "-->".
3083         (map_html_tags): Use it if looking at a comment and not in strict
3084         comments mode.
3085
3086 2003-09-17  Aurelien Marchand  <artaxerxes@users.sf.net>
3087
3088         * ftp.h: Added OS400 system in enum
3089         * ftp-basic.c: recognize OS400 systems
3090         * ftp.c: don't prepend the CWD if talking to OS400, since it
3091         breaks the change in library
3092
3093 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
3094
3095         * retr.c (get_contents): Pass the correct argument to ssl_iread.
3096
3097 2003-09-18  Hrvoje Niksic  <hniksic@xemacs.org>
3098
3099         * safe-ctype.h: Don't #define ctype.h macros to errors because
3100         that loses when someone #include's ctype.h after safe-ctype.h.
3101
3102 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
3103
3104         * url.c: Undef U, W, C after use.
3105
3106 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
3107
3108         * init.c (cmd_spec_restrict_file_names): Allow the OS setting to
3109         be augmented by ",nocontrol" which means don't escape the control
3110         characters, but otherwise keep OS settings.
3111
3112         * url.c (file_unsafe_char): Deleted.
3113         (append_uri_pathel): Query filechr_table directly.
3114         (filechr_table): Separated Unix, Windows, and control-unsafe
3115         characters.
3116
3117 2003-09-17  Hrvoje Niksic  <hniksic@xemacs.org>
3118
3119         * url.c (url_escape_1): New function.
3120         (url_escape): Use it.
3121         (sync_path): Handle pathological cases where u->file and u->dir
3122         contain really strange characters.
3123         (ENCODE): Deleted.
3124         (REENCODE): Deleted.
3125
3126 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
3127
3128         * url.c (url_file_name): Don't reallocate FNAME if the file
3129         doesn't exist, as is usually the case.
3130
3131         * utils.c (unique_name): New flag allow_passthrough.
3132
3133 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
3134
3135         * utils.c (wtimer_sys_diff): Convert the time difference to signed
3136         __int64, then to double.  This works around MS VC++ 6 which can't
3137         convert unsigned __int64 to double directly.
3138
3139 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
3140
3141         * Makefile.in (clean): Also remove the core.<number> files
3142         produced by recent Linux systems.
3143
3144 2003-09-16  Hrvoje Niksic  <hniksic@xemacs.org>
3145
3146         * http.c (post_file): Don't pad the file if it's not large
3147         enough.  Bail out instead.
3148
3149 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3150
3151         * retr.c (get_contents): Reduce the buffer size to the amount of
3152         data that may pass through for one second.  This prevents long
3153         sleeps when limiting bandwidth.
3154
3155         * connect.c (connect_to_one): Reduce the socket's RCVBUF when
3156         bandwidth limitation to small values is requested.
3157
3158 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3159
3160         * progress.c (update_speed_ring): Moved the speed ring update to a
3161         separate function and documented it better.
3162
3163         * progress.c: Use `double' for most timers to support granularity
3164         smaller than 1ms.
3165
3166 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3167
3168         * wget.h (XDIGIT_TO_XCHAR): Implement as index into a literal
3169         string.
3170         (XDIGIT_TO_xchar): Ditto.
3171
3172 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3173
3174         * utils.c: Change the type of timer-related functions from long to
3175         double, for better precision.  On machines supporting gettimeofday
3176         the timers now work with granularity of less than one millisecond.
3177
3178 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3179
3180         * cookies.c (parse_set_cookies): Fixed the parser to handle more
3181         edge conditions.
3182         (test_cookies): New function, contains a test suite for
3183         parse_set_cookies.
3184
3185 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3186
3187         * url.c (strpbrk_or_eos): Implement as a macro under Gcc.
3188
3189 2003-09-15  Hrvoje Niksic  <hniksic@xemacs.org>
3190
3191         * cookies.c (parse_set_cookies): Allow trailing space in
3192         set-cookies header.  Also, allow any amount of whitespace, not
3193         only one character.  Allow empty set-cookies header without
3194         spewing an error.
3195
3196 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
3197
3198         * url.c (append_uri_pathel): Use opt.restrict_file_names when
3199         calling file_unsafe_char.
3200
3201         * init.c: New command restrict_file_names.
3202
3203         * main.c (main): New option --restrict-file-names[=windows,unix].
3204
3205         * url.c (url_file_name): Renamed from url_filename.
3206         (url_file_name): Add directory and hostdir prefix here, not in
3207         mkstruct.
3208         (append_dir_structure): New function, does part of the work that
3209         used to be in mkstruct.  Iterates over path elements in u->path,
3210         calling append_uri_pathel on each one to append it to the file
3211         name.
3212         (append_uri_pathel): URL-unescape a path element and reencode it
3213         with a different set of rules, more appropriate for handling of
3214         files.
3215         (file_unsafe_char): New function, uses a lookup table to decide
3216         whether a character should be escaped for use in file name.
3217         (append_string): New utility function.
3218         (append_char): Ditto.
3219         (file_unsafe_char): New argument restrict_for_windows, decide
3220         whether Windows file names should be escaped in run-time.
3221
3222         * connect.c: Include <stdlib.h> to get prototype for abort().
3223
3224 2003-09-14  Hrvoje Niksic  <hniksic@xemacs.org>
3225
3226         * utils.c (wtimer_sys_set): Extracted the code that sets the
3227         current time here.
3228         (wtimer_reset): Call it.
3229         (wtimer_sys_diff): Extracted the code that calculates the
3230         difference between two system times here.
3231         (wtimer_elapsed): Call it.
3232         (wtimer_elapsed): Don't return a value smaller than the previous
3233         one, which could previously happen when system time is set back.
3234         Instead, reset start time to current time and note the elapsed
3235         offset for future calculations.  The returned times are now
3236         guaranteed to be monotonically nondecreasing.
3237
3238 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
3239
3240         * host.c (lookup_host): Print the result of the DNS lookup.
3241
3242 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
3243
3244         * init.c (cmd_boolean): Accept yes/no along with on/off.
3245         (cmd_lockable_boolean): Ditto.
3246
3247 2003-09-10  Hrvoje Niksic  <hniksic@xemacs.org>
3248
3249         * init.c: New command dns_cache.
3250
3251         * main.c (main): New option --dns-cache[=off].
3252
3253 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
3254
3255         * config.h.in: Initialize HAVE_GETADDRINFO and ENABLE_IPV6.
3256
3257         * all: Use #ifdef ENABLE_IPV6 instead of the older INET6.  Use
3258         HAVE_GETADDRINFO for getaddrinfo-related stuff.
3259
3260 2003-09-09  Hrvoje Niksic  <hniksic@xemacs.org>
3261
3262         * url.c (url_parse): Return an error if the URL contains a [...]
3263         IPv6 numeric address and we don't support IPv6.
3264
3265 2003-09-05  Hrvoje Niksic  <hniksic@xemacs.org>
3266
3267         * url.c (is_valid_ipv6_address): Modified to not require
3268         zero-terminated strings.
3269         (is_valid_ipv4_address): Ditto.
3270
3271 2003-09-05  Mauro Tortonesi <mauro@deepspace6.net>
3272
3273         src/url.c: added RFC 2732 compliance for URL parsing. The
3274         functions is_*_address valid are a modified version of
3275         glibc 2.3.2 inet_pton's code.
3276
3277 2003-09-03  Ahmon Dancy  <dancy@dancysoft.com>
3278
3279         * main.c init.c options.h: Added --retry-connrefused option so
3280         that Connection Refused failures are treated as non-fatal (when
3281         trying to retrieve from busy servers).
3282
3283         * wget.h: New CONNECT_ERROR macro for encapsulating this
3284         modification.
3285
3286         * ftp.c http.c : Use CONNECT_ERROR macro in places where
3287         ECONNREFUSED was checked.
3288
3289 2003-01-11  Ian Abbott  <abbotti@mev.co.uk>
3290
3291         * ftp.c (ftp_retrieve_glob): Reject insecure filenames as determined
3292         by calling new function has_insecure_name_p.  This is based on a
3293         patch by Red Hat.
3294
3295         * fnmatch.c (has_insecure_name_p): New function: returns non-zero
3296         if filename starts with `/' or contains `../' and is therefore
3297         considered insecure.
3298
3299         * fnmatch.h: Declare has_insecure_name_p().
3300
3301 2002-08-03  Hrvoje Niksic  <hniksic@xemacs.org>
3302
3303         * init.c (cmd_file): Allocate RESULT correctly.
3304
3305 2002-07-24  Hrvoje Niksic  <hniksic@xemacs.org>
3306
3307         * recur.c (retrieve_tree): Check whether downloaded_html_set is
3308         non-NULL before using it.
3309
3310 2002-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
3311
3312         * html-parse.c (NAME_CHAR_P): Allow almost any character here.
3313
3314 2002-05-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3315
3316         * progress.c (bar_set_params): Fall back to dot progress if the
3317         terminal type is "emacs".
3318
3319 2002-05-20  Hrvoje Niksic  <hniksic@arsdigita.com>
3320
3321         * log.c: Don't #undef WGET_USE_STDARG.
3322
3323 2002-05-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3324
3325         * hash.c (prime_size): Store the offset of the prime number in the
3326         prime table.  When searching, start with the given offset.
3327         (hash_table_new): Pass the pointer to ht->prime_offset to
3328         prime_size.
3329         (grow_hash_table): Ditto.
3330         (prime_size): Make 13 the first prime to make empty hash tables
3331         slightly smaller.
3332
3333 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
3334
3335         * recur.c (download_child_p): Minor optimization to avoid an
3336         unnecessary additional call to schemes_are_similar_p function.
3337
3338 2002-05-16  Ian Abbott  <abbotti@mev.co.uk>
3339
3340         * url.c (schemes_are_similar_p): New function to test enumerated
3341         scheme codes for similarity.
3342
3343         * url.h: Declare it.
3344
3345         * recur.c (download_child_p): Use it to compare schemes.  This
3346         also fixes a bug that allows hosts to be spanned (without the
3347         -H option) when the parent scheme is https and the child's is
3348         http or vice versa.
3349
3350 2002-05-14  Bill Richardson  <bill@riverstonenet.com>
3351
3352         * ftp.c (getftp): Don't ftruncate stdout.
3353
3354         * http.c (gethttp): Don't ftruncate stdout.
3355
3356 2002-05-09  Ian Abbott  <abbotti@mev.co.uk>
3357
3358         * cmpt.c (strptime_internal): Synched with glibc-2.1.3.
3359         (get_number): Ditto.
3360         (get_alt_number): Ditto.
3361         (__isleap): New function-like macro used by strptime.
3362         (day_of_the_week): New function used by strptime.
3363         (day_of_the_year): Ditto.
3364         (__mon_yday): Now shared by mktime and strptime implementations.
3365
3366 2002-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3367
3368         * cookies.c (check_domain_match): Use match_tail in case
3369         insensitive mode.
3370
3371         * utils.c (match_tail): Allow the caller to specify case
3372         insensitive mode.
3373
3374         * cookies.c (store_cookie): When expiry_time is 0, print it as
3375         undefined, not indefinite.
3376
3377 2002-05-07  Ian Abbott  <abbotti@mev.co.uk>
3378
3379         * cookies.c (cookie_jar_process_set_cookie): Do not store
3380         discarded cookie.
3381
3382 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
3383
3384         * cookies.c (check_domain_match): Allow cookies to be set for
3385         subdomains of unknown top-level domains under some circumstances.
3386
3387 2002-04-21  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
3388
3389         * gen_ssl.c:
3390         - allow checking of server cert
3391         - allow defining client cert type
3392         - allow limit of ssl protocol
3393         - check more return values
3394         - added debug message on break
3395
3396 2002-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
3397
3398         * recur.c (download_child_p): Revert order of items in check
3399         number 6 for clarity.
3400
3401 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
3402
3403         * init.c: Ditto.
3404
3405         * main.c: Ditto.
3406
3407         * http.c: Use the new interface.
3408
3409         * cookies.c: Provide an OO-style "cookie jar" interface to enable
3410         separate cookie jars.
3411
3412         * http.c (http_atotm): Declare argument as const.
3413
3414 2002-04-20  Hrvoje Niksic  <hniksic@arsdigita.com>
3415
3416         * cookies.c (cookie_new): Default to PORT_ANY.
3417         (find_cookie_chain_exact): Only search by DOMAIN.
3418         (find_matching_cookie): Also check that PORT matches.
3419         (store_cookie): Only match the domain.
3420         (set_cookie_header_cb): When a cookie "fakes" a domain, assume it
3421         is valid for that host rather than discarding it completely.
3422         (find_matching_chains): Don't search by PORT.
3423         (matching_cookie): Also match PORT.
3424         (load_cookies): Set the port if specified, otherwise leave it as
3425         ANY.
3426         (save_cookies_mapper): Save the port if specified, otherwise leave
3427         it empty.
3428
3429 2002-04-19  Thomas Lussnig  <thomas.lussnig@bewegungsmelder.de>
3430
3431         * init.c: The option `egdfile' was not in sort order.
3432
3433 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3434
3435         * ftp.c (getftp): Treat directories that begin with <letter>: as
3436         absolute.
3437         (getftp): Strip trailing slashes from con->id before merging it
3438         with TARGET.
3439
3440 2002-04-16  Hrvoje Niksic  <hniksic@arsdigita.com>
3441
3442         * http.c (gethttp): If Content-Type is not given, assume
3443         text/html.
3444
3445 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
3446
3447         * recur.c (download_child_p): Don't ignore rejection of HTML
3448         documents that are themselves leaves of recursion.
3449
3450 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
3451
3452         Makefile.in: Updated several dependencies for object files to take
3453         account of nested include files.
3454
3455 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
3456
3457         Makefile.in: The target `connect$o' (connect.o) now depends on
3458         `utils.h'
3459
3460 2002-04-15  Ian Abbott  <abbotti@mev.co.uk>
3461
3462         * host.c (SET_H_ERRNO): New function-like macro to set `h_errno'.
3463         (gethostbyname_with_timeout): Use it.
3464
3465         * utils.c: Don't define `SETJMP()', `run_with_timeout_env' or
3466         `abort_run_with_timeout()' when `USE_SIGNAL_TIMEOUT' is undefined.
3467
3468 2002-04-15  Hrvoje Niksic  <hniksic@arsdigita.com>
3469
3470         * host.c (getaddrinfo_with_timeout): New function.
3471         (gethostbyname_with_timeout): Ditto.
3472         (lookup_host): Use them.
3473
3474 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3475
3476         * utils.c (number_to_string): Handle the case when n < -INT_MAX.
3477
3478 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3479
3480         * init.c (comind): Use a marginally faster implementation of
3481         binary search.  To quote Martin Buchholz, "a nanosecond saved is a
3482         nanosecond earned."
3483
3484 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3485
3486         * main.c (print_help): Document `--post-data' and `--post-file'.
3487
3488 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3489
3490         * http.c (gethttp): Ditto.
3491
3492         * retr.c (retrieve_url): Initialize variables to appease the
3493         compiler.
3494
3495         * gen_sslfunc.c (ssl_iread): Don't handle EINTR when calling
3496         select_fd.
3497         (ssl_iwrite): Ditto.
3498
3499         * connect.c (select_fd): Rewrite to handle EINTR.  Set errno to
3500         ETIMEDOUT in case of timeout.
3501         (iread): No need to handle EINTR when calling select_fd.
3502         (iwrite): Ditto.
3503
3504 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3505
3506         * retr.c (retrieve_url): Make sure that POST is not honored for
3507         redirections.
3508
3509         * http.c (gethttp): Send the POST data when requested.
3510         (post_file): New function.
3511         (gethttp): Use it.
3512
3513         * main.c (main): Ditto.
3514
3515         * init.c: Add new options.
3516
3517         * options.h (struct options): New options post_data and
3518         post_file_name.
3519
3520 2002-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3521
3522         * connect.c (connect_with_timeout): Firing SIGALRM can result in
3523         connect() exiting with EINTR.  Treat EINTR the same as ETIMEDOUT.
3524
3525 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3526
3527         * connect.c (connect_with_timeout): Use it.
3528
3529         * utils.c (run_with_timeout): New function.
3530
3531 2002-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3532
3533         * url.c (getproxy): Accept a struct url argument.  This obviates
3534         the need for USE_PROXY_P.
3535
3536         * retr.c (retrieve_url): Allow proxy to be a non-FTP URL.
3537
3538         * ftp.c (getftp): Recognize FWTK-style proxy.
3539
3540 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3541
3542         * config.h.in: Only define _VA_LIST when compiled with gcc.
3543
3544 2002-04012  Ian Abbott  <abbotti@mev.co.uk>
3545
3546         * http.c (http_loop): Compensate for MS Windows two-second
3547         granularity of file modification time when comparing timestamps.
3548
3549         * ftp.c (ftp_retrieve_list): Ditto.
3550
3551 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
3552
3553         * utils.c (has_html_suffix_p): New function to test filename for
3554         common html extensions.
3555
3556         * utils.h: Declare it.
3557
3558         * http.c (http_loop): Use it instead of previous test.
3559
3560         * retr.c (retrieve_url): Ditto.
3561
3562         * recur.c (download_child_p): Ditto.
3563
3564 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3565
3566         * config.h.in: Define _VA_LIST on Solaris to prevent stdio.h from
3567         declaring va_list.
3568         From Kevin Rodgers <kevinr@ihs.com>.
3569
3570 2002-04-12  Ian Abbott  <abbotti@mev.co.uk>
3571
3572         * Makefile.in: Specify libtool mode explicitly when linking.
3573
3574 2002-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3575
3576         * connect.c (connect_with_timeout): New function.
3577         (connect_to_one): Use it.
3578
3579         * config.h.in: Add stubs for HAVE_SIGSETJMP, HAVE_SIGBLOCK, and
3580         HAVE_SETJMP_H.
3581
3582 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3583
3584         * log.c: Set WGET_USE_STDARG if __STDC__ is defined and stdarg.h
3585         is present.
3586
3587 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3588
3589         * progress.c (bar_create): If INITIAL is larger than TOTAL, fix
3590         TOTAL.
3591         (bar_finish): Likewise.
3592
3593 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3594
3595         * html-url.c (tag_handle_form): New function.  Pick up form
3596         actions and mark them for conversion only.
3597
3598 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3599
3600         * progress.c (struct progress_implementation): Use PARAMS when
3601         declaring the parameters of *create, *update, *finish, and
3602         *set_params.
3603
3604         * netrc.c: Ditto.
3605
3606         * http.c: Reformat some function definitions so that ansi2knr can
3607         read them.
3608
3609         * hash.c (struct hash_table): Use the PARAMS macro around
3610         parameters in the declaration of hash_function and test_function.
3611         (prime_size): Spell 2580823717UL and 3355070839UL as (unsigned
3612         long)0x99d43ea5 and (unsigned long)0xc7fa5177 respectively, so
3613         that pre-ANSI compilers can read them.
3614         (find_mapping): Use PARAMS when declaring EQUALS.
3615         (hash_table_put): Ditto.
3616
3617         * ftp.h: Wrap the parameters of ftp_index declaration in PARAMS.
3618
3619         * cookies.c (cookie_new): Use (unsigned long)0 instead of 0UL,
3620         which was unsupported by pre-ANSI compilers.
3621
3622         From Nelson H. F. Beebe <beebe@math.utah.edu>, for the most part.
3623
3624 2002-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3625
3626         * url.c (url_filename): Use compose_file_name regardless of
3627         whether opt.dirstruct is set.
3628         (mkstruct): Don't handle the query and the reencoding of DIR; that
3629         is done in compose_file_name.
3630
3631 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3632
3633         * wget.h: Ditto for extern char *exec_name.
3634
3635         * options.h: Don't guard against OPTIONS_DEFINED_HERE -- it is
3636         perfectly legal to follow an `extern' with a non-`extern' ones,
3637         provided the types match.
3638
3639         * main.c: Don't define OPTIONS_DEFINED_HERE.
3640
3641 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3642
3643         * progress.c (create_image): Revert to calculating ETA based on
3644         average download speed.
3645         (create_image): Don't print ETA until the download has been active
3646         for at least 3 seconds.
3647         (create_image): When ETA is not available, don't print anything.
3648         The previous version would print --:--.
3649
3650 2002-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3651
3652         * progress.c (bar_update): Keep updating a subinterval until it
3653         reaches or exceeds a watermark.  That way the measurement will be
3654         guaranteed to span a configurable minimum of time.  The current
3655         default is 3s in 30 100ms intervals.
3656
3657 2002-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3658
3659         * progress.c (bar_update): Maintain an array of the time it took
3660         to perform previous 30 network reads.
3661         (create_image): Calculate the download speed and ETA based on the
3662         last 30 reads, not the entire download.
3663         (create_image): Make sure that the ETA is not changed more than
3664         once per second.
3665
3666 2002-04-09  Ian Abbott  <abbotti@mev.co.uk>
3667
3668         * mswindows.c (borland_utime): New function conditionally defined
3669         when `HACK_BCC_UTIME_BUG' is defined.  A reimplementation of
3670         `utime()' as Borland's `utime()' function is broken on Windows 9x
3671         systems.  (Original patch by Chin-yuan Kuo <sr1111111@yahoo.com.tw>.)
3672
3673 2002-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
3674
3675         * ftp.c (ftp_loop): Propagate the result of ftp_retrieve_glob.
3676
3677 2002-03-26  Ian Abbott  <abbotti@mev.co.uk>
3678
3679         * Makefile.in: Updated several dependencies for object files.
3680
3681 2002-03-20  Ian Abbott  <abbotti@mev.co.uk>
3682
3683         * mswindows.c: Include "utils.h".
3684
3685 2002-03-18  Ian Abbott  <abbotti@mev.co.uk>
3686
3687         * host.h: Don't include netdb.h on windows.
3688
3689 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3690
3691         * recur.c (retrieve_tree): Handle the case when start_url doesn't
3692         parse.
3693
3694 2002-02-19  Andreas Damm  <andreas-sourceforge@radab.org>
3695
3696         * wget.h (DO_REALLOC_FROM_ALLOCA): Multiply with sizeof(type) when
3697         calling xmalloc and memcpy.
3698
3699 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3700
3701         * host.h: Include Unix-specific includes #ifndef WINDOWS.
3702         Patch originally provided by Christian Lackas.
3703
3704 2002-02-11  Christian Lackas  <delta@lackas.net>
3705
3706         * recur.c: recurive downloading for https fixed.
3707
3708 2002-02-19  Alan Eldridge  <alane@geeksrus.net>
3709
3710         * host.h: Also include <netinet/in.h> and <sys/socket.h>.
3711
3712         * ftp-basic.c: Also include <netinet/in.h>.
3713
3714 2002-02-05  Ian Abbott  <abbotti@mev.co.uk>
3715
3716         * http.c (gethttp): when -c used, mark already fully retrieved
3717         file as successfully retrieved.
3718
3719 2002-02-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3720
3721         * url.c (url_parse): Don't treat '?' as query string separator
3722         when parsing FTP URLs.
3723
3724 2002-02-01  Hrvoje Niksic  <hniksic@arsdigita.com>
3725
3726         * html-url.c (tag_handle_meta): Don't crash on <meta
3727         http-equiv=refresh> where content is missing.
3728
3729 2002-01-31  Herold Heiko  <Heiko.Herold@previnet.it>
3730
3731         * ftp-basic.c, host.c: don't include sys/socket.h, arpa/inet.h,
3732         netdb.h on windows.
3733
3734 2002-01-30  Hrvoje Niksic  <hniksic@arsdigita.com>
3735
3736         * retr.c (retrieve_url): Remove redirection cycle detection.  This
3737         is because some sites legitimately redirect the user back to the
3738         same location, e.g. after an authorization check performed by
3739         another page.  MAX_REDIRECTIONS is still used to prevent infinite
3740         redirection loops.
3741
3742 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3743
3744         * http.c (gethttp): Wrap host name in square brackets if it
3745         contains a colon.
3746
3747 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3748
3749         * url.c (url_parse): Allow all hex digits, not only decimal ones,
3750         to form an IP address.
3751
3752 2002-01-26  Hrvoje Niksic  <hniksic@arsdigita.com>
3753
3754         * url.c (urlchr_table): Make square braces reserved, so we can
3755         parse http://[::1]/.
3756         (url_parse): Handle host in braces.
3757         (url_string): If url->host contains colons, wrap it in braces.
3758
3759 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3760
3761         * connect.c (resolve_bind_address): New function.
3762         (connect_to_one): Use it.
3763         (bindport): Ditto.
3764
3765         * init.c: Don't resolve bind-address here.
3766
3767         * host.c (wget_sockaddr_set_address): Would bug out with ADDR == NULL.
3768
3769 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3770
3771         * host.c (lookup_host): Use sizeof(ip4_address) to calculate the
3772         offset.
3773         (address_list_new): Use map_ipv4_to_ip.
3774         (wget_sockaddr_set_address): Convert ADDR to IPv4 before using it
3775         in IPv4 context.
3776
3777 2002-01-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3778
3779         * source: Integrated IPv6 support.
3780         Written by Thomas Lussnig <thomas.lussnig@bewegungsmelder.de>.
3781
3782 2002-01-15  Ian Abbott  <abbotti@mev.co.uk>
3783
3784         * init.c (cmd_file): Change `\' to `/' for Windows (yes, really!)
3785         (cmd_directory): New function. Like cmd_file(), but strips
3786         trailing directory separators.
3787         (commands): Change action for "dirprefix" from `cmd_file' to
3788         `cmd_directory'.
3789
3790         * utils.c (make_directory): Allow intermediate `mkdir' calls to
3791         fail, as not all path components that do not exist should be
3792         directory components, especially under Windows.
3793
3794 2002-01-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3795
3796         * netrc.c (parse_netrc): Skip leading whitespace before testing
3797         whether the line is empty.  Empty lines still contain the line
3798         terminator.
3799
3800 2002-01-15  Hrvoje Niksic  <hniksic@arsdigita.com>
3801
3802         * gen_sslfunc.c (ssl_iread): Call select on the file descriptor
3803         only if no data is pending in SSL buffers.
3804         From tony@bluetail.com.
3805
3806 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3807
3808         * headers.c (header_get): Strip trailing whitespace from the
3809         header.
3810
3811 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3812
3813         * url.c (parse_uname): URL-decode *USER and *PASSWD.
3814
3815 2002-01-07  Ian Abbott <abbotti@mev.co.uk>
3816
3817         * url.c (uri_merge_1): Deal with "net path" relative URL (one that
3818         starts with "//").
3819
3820 2002-01-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3821
3822         * http.c (gethttp): Invalidate SOCK if get_contents encountered an
3823         error.
3824
3825 2001-12-24  Hrvoje Niksic  <hniksic@arsdigita.com>
3826
3827         * version.c: Wget 1.8.1 is released.
3828
3829 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3830
3831         * version.c: Wget 1.8.1-pre3 is released.
3832
3833 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3834
3835         * recur.c (retrieve_tree): Enqueue the canonical representation of
3836         start_url, so that the test against dl_url_file_map works.
3837
3838 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3839
3840         * log.c (logputs): Check for requested verbosity before printing
3841         anything.
3842
3843 2001-12-19  Hrvoje Niksic  <hniksic@arsdigita.com>
3844
3845         * html-url.c (tag_handle_link): Treat the "shortcut icon" link as
3846         inline.
3847
3848 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3849
3850         * recur.c (retrieve_tree): Make a copy of file obtained from
3851         dl_url_file_map because the code calls xfree(file) later.
3852
3853 2001-12-18  Hrvoje Niksic  <hniksic@arsdigita.com>
3854
3855         * recur.c (register_html): Maintain a hash table of HTML files
3856         along with the list.  Disallow duplicates.
3857         (retrieve_tree): Use downloaded_html_set to check whether the file
3858         found in dl_url_file_map is an HTML file, and descend into it if
3859         so.
3860         (convert_all_links): Don't guard against duplicates in
3861         downloaded_html_list, since they are no longer possible.
3862
3863 2001-12-18  Ian Abbott  <abbotti@mev.co.uk>
3864
3865         * recur.c (retrieve_tree): Pass on referring URL when retrieving
3866         recursed URL.
3867
3868 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3869
3870         * version.c: Wget 1.8.1-pre2 is released.
3871
3872 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3873
3874         * retr.c (sleep_between_retrievals): Simplify indentation.
3875
3876 2001-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
3877
3878         * gen_sslfunc.c (ssl_init_prng): Use random_number to get a byte
3879         of "randomness" at a time.
3880         (ssl_init_prng): Don't seed the PRNG; random_number will do that.
3881
3882         * retr.c (sleep_between_retrievals): Use it.  Make sure that the
3883         random amount averages in opt.wait.
3884         (sleep_between_retrievals): Don't seed the PRNG; random_number
3885         will do that.
3886
3887         * utils.c (random_number): New function.
3888
3889 2001-12-14  Hrvoje Niksic  <hniksic@arsdigita.com>
3890
3891         * url.c (path_simplify): Move here from utils.c, and make static.
3892
3893 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3894
3895         * init.c (wgetrc_file_name): Print correct message when loading
3896         getenv("WGETRC") fails.
3897
3898 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3899
3900         * recur.c (register_download): Don't abort when one URL references
3901         two different files.
3902
3903 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3904
3905         * http.c (gethttp): Check for conn->scheme, not u->scheme, before
3906         calling ssl_iwrite.
3907
3908 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3909
3910         * version.c: Wget 1.8.1-pre1 is released.
3911
3912 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3913
3914         * res.c (matches): Fix broken URL in the docstring.
3915
3916 2001-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
3917
3918         * html-url.c (tag_url_attributes): Mark <embed href=...> as
3919         external.
3920
3921 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3922
3923         * url.c (get_urls_file): Cosmetic changes.
3924
3925 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3926
3927         * html-url.c (append_one_url): Resurrect warning when unable to
3928         resolve a relative link.
3929
3930 2001-12-12  Hrvoje Niksic  <hniksic@arsdigita.com>
3931
3932         * html-url.c (collect_tags_mapper): Break into several functions.
3933         (tag_url_attributes): Collect <embed href=...>.
3934
3935 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3936
3937         * host.c: New type ipv4_address.  Use it consistently instead of
3938         `unsigned char[4]' and `unsigned char *'.
3939         (pretty_print_address): Accept a `const void *', to require even
3940         less casting.
3941
3942 2001-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
3943
3944         * ftp-ls.c (ftp_parse_vms_ls): Fix obvious memory leaks.
3945
3946 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3947
3948         * main.c (main): Initialize progress after fork_to_background, so
3949         that it knows when to use dots.
3950
3951         * mswindows.c (ws_hangup): Call log_request_redirect_output.
3952
3953         * utils.c (fork_to_background): Print the PID of the child
3954         process.
3955
3956         * log.c (log_request_redirect_output): Set a flag that output
3957         redirection has been requested.  Doing anything else in a signal
3958         handler is unsafe.
3959         (check_redirect_output): New function: check whether redirection
3960         has been requested and, if so, call redirect_output().
3961         (logputs): Call check_redirect_output.
3962         (logprintf): Ditto.
3963         (debug_logprintf): Ditto.
3964         (redirect_output): Print clearer messages.
3965
3966         * main.c (redirect_output_signal): Don't call
3967         redirect_output_signal directly.  Instead, call
3968         log_request_redirect_output.
3969
3970         * utils.c (memfatal): Ditto.
3971
3972         * progress.c (display_image): Use it.
3973
3974         * log.c (log_set_save_context): New function: allow the caller to
3975         turn off saving log context lines.
3976
3977 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3978
3979         * host.c (address_list_set_faulty): Uncomment a sanity check.
3980
3981 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3982
3983         * utils.c (long_to_string): Return a pointer after where the
3984         number ends.
3985         (long_to_string): Rename to number_to_string.
3986
3987 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3988
3989         * utils.c (path_simplify): Correctly handle the unlikely case that
3990         b starts out as path + 1.
3991
3992 2001-12-10  Hrvoje Niksic  <hniksic@arsdigita.com>
3993
3994         * utils.c (path_simplify): Rewrite, with better comments, and
3995         without the use of strcpy to move overlapping blocks.
3996
3997 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
3998
3999         * init.c (cmd_spec_progress): Resurrect.  Check whether VAL is a
4000         valid progress type before setting it.
4001
4002 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4003
4004         * main.c (main): Remove stray debugging message.
4005
4006 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4007
4008         * progress.c (create_image): Fix ETA padding when hours are prined.
4009
4010 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4011
4012         * version.c: Wget 1.8 is released.
4013
4014 2001-12-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4015
4016         * url.c (reencode_string): Declare static.
4017
4018         * res.c (registered_specs): Declare static.
4019
4020         * progress.c (current_impl_locked): Declare static.
4021
4022         * log.c (flush_log_p): Declare static.
4023         (needs_flushing): Ditto.
4024
4025         * http.c (digest_authentication_encode): Declare static.
4026
4027         * html-url.c (init_interesting): Declare static.
4028
4029         * host.c (host_name_addresses_map): Declare static.
4030
4031         * cookies.c (find_matching_chains): Declare static.
4032
4033         * ftp-ls.c (ftp_parse_vms_ls): Warn about the memory leak
4034         indicated by lint.
4035
4036         * utils.c (path_simplify): Remove unused variable STUB_CHAR.
4037
4038         * host.c (address_list_set_faulty): Document that INDEX is
4039         currently unused.
4040
4041         * url.c (rewrite_shorthand_url): Remove unused variable PATH.
4042
4043 2001-12-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4044
4045         * version.c: Wget 1.8-pre2 is released.
4046
4047 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4048
4049         * progress.c (progress_handle_sigwinch): Set up the signal again.
4050
4051         * utils.c: Include <sys/termios.h>, where Solaris defines
4052         TIOCGWINSZ.
4053
4054         * progress.c (bar_create): Don't use the last column on the screen.
4055         (create_image): Pad ETA to constant size.  Pad SIZE to nine digits
4056         only until it exceeded them.
4057
4058 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4059
4060         * version.c: Wget 1.8-pre1 is released.
4061
4062 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4063
4064         * progress.c (progress_create): Make sure that, when the output is
4065         redirected, the progress implementation gets changed to the
4066         fallback one.
4067         (bar_set_params): Set current_impl_locked to 1 when "force" is
4068         specified.
4069         (progress_create): Don't change the progress implementation if
4070         current_impl_locked is non-zero.
4071
4072         * main.c (redirect_output_signal): Call
4073         progress_schedule_redirect.
4074
4075         * progress.c (progress_schedule_redirect): New function.
4076
4077 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4078
4079         * log.c (logvprintf): Restructure to allow being called multiple
4080         times.
4081         (logprintf): Call logvprintf in a loop.
4082         (debug_logprintf): Ditto.
4083
4084 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4085
4086         * gen_sslfunc.c (ssl_init_prng): Allow the user to disable EGD by
4087         setting egd_file it to empty string.
4088
4089         * main.c (main): Change the option name from --sslegdsock to
4090         --egd-file.
4091
4092 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4093
4094         * gen_sslfunc.c (ssl_init_prng): Make the printed message
4095         translatable.
4096
4097 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4098
4099         * url.c (scheme_disable): New function.
4100
4101         * main.c (main): Call ssl_init_prng from here rather than from
4102         init_ssl, so that it has a chance to disable support for https
4103         before a URL has been resolved.
4104
4105         * gen_sslfunc.c (ssl_init_prng): Seed with rand() if all else
4106         failed.
4107         (ssl_init_prng): Disable support for https if seeding the PRNG
4108         fails.
4109
4110 2001-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
4111
4112         * utils.c (read_whole_line): Handle lines beginning with \0.
4113
4114 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4115
4116         * recur.c (convert_all_links): Guard against duplicates in
4117         downloaded_html_files.
4118         (register_download): Don't invalidate similar-looking URLs.
4119         (match_except_index): New function.
4120
4121 2001-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
4122
4123         * utils.c (path_simplify): Document with test cases.
4124
4125 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4126
4127         * gen_sslfunc.c: Ditto.
4128
4129         * rbuf.c: Include <string.h>.
4130
4131 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4132
4133         * recur.c (retrieve_tree): Check whether the URL was already
4134         downloaded before downloading it again.
4135         (descend_child_p): Renamed to download_child_p.
4136         (register_download): When one URL is downloaded to a file already
4137         "owned" by another URL, delete all references that map any URL to
4138         that file.
4139         (register_delete_file): New function.
4140         (retrieve_tree): Use it after deleting a file.
4141
4142         * url.c (url_parse): Re-canonicalize the URL also if the path is
4143         empty, so that e.g. "http://www.server.com" ->
4144         "http://www.server.com/".
4145         (lowercase_str): Use ISUPPER instead of !ISLOWER.
4146
4147         * retr.c (retrieve_url): Use the canonical URL form when calling
4148         register_download().
4149
4150 2001-12-04  Ian Abbott <abbotti@mev.co.uk>
4151
4152         * snprintf.c (dopr): Use `unsigned int' as the second argument to
4153         va_arg when casting to `unsigned short' is intended.
4154
4155 2001-12-04  Herold Heiko  <Heiko.Herold@previnet.it>
4156
4157         * gen_sslfunc.c: on windows provide ssl crypto random 
4158           initialization through RAND_screen(); could possibly
4159           be not enough for strong ssl communication (see the 
4160           relevant manual page from the openssl package).
4161
4162 2001-12-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4163
4164         * url.c (local_quote_string): Reenable quoting of question marks,
4165         but only when `--html-extension' is used.
4166
4167 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4168
4169         * version.c: Wget 1.8-beta3 is released.
4170
4171 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4172
4173         * snprintf.c (dopr): Cast the result of va_arg to short int and
4174         short unsigned int where these types are expected to be used.
4175
4176 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4177
4178         * snprintf.c (dopr): Replace `short int' and `unsigned short int'
4179         with `int' when using it as the second argument to `va_arg'.
4180
4181 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4182
4183         * host.c (address_list_new_one): New function.
4184         (lookup_host): Use it.
4185
4186 2001-12-03  Andre Majorel  <amajorel@teaser.fr>
4187
4188         * host.c (lookup_host): Don't initialize TMPSTORE directly because
4189         it's not legal C.
4190
4191 2001-12-03  Hrvoje Niksic  <hniksic@arsdigita.com>
4192
4193         * ftp-basic.c (ftp_port): Don't return HOSTERR if we fail getting
4194         the socket data.
4195
4196         * ftp.c: Ditto.
4197
4198         * http.c: No need to declare h_errno.
4199
4200         * host.c: Declare h_errno.
4201
4202 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4203
4204         * utils.c (file_merge): If BASE doesn't contain a slash, just
4205         return a copy of FILE.
4206
4207 2001-12-02  Hrvoje Niksic  <hniksic@arsdigita.com>
4208
4209         * version.c: Wget 1.8-beta2 is released.
4210
4211 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4212
4213         * ftp.c (getftp): When PWD fails, assume "/".
4214
4215         * ftp-basic.c (ftp_syst): Fix indentation.
4216
4217 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4218
4219         * url.c (get_urls_file): If opt.base_href is specified, merge each
4220         URL with the base.
4221
4222 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4223
4224         * main.c (print_help): Don't document the removed `-nh'.
4225
4226 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4227
4228         * url.c (url_full_path): Document better.
4229
4230         * http.c (gethttp): Use the full path when creating digest
4231         authorization.
4232
4233 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4234
4235         * cookies.c (path_matches): Return 0 if PREFIX doesn't begin with
4236         '/'.
4237
4238 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4239
4240         * cookies.c (path_matches): FULL_PATH doesn't begin with '/', but
4241         PREFIX does.
4242
4243 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4244
4245         * cookies.c (check_domain_match): Reimplement to match Netscape's
4246         "preliminary specification" for cookies.
4247
4248 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4249
4250         * url.c (replace_attr_refresh_hack): New function.
4251         (convert_links): Call replace_attr_refresh_hack for Refresh
4252         links.  It will add the "TMOUT; URL=" junk before the link.
4253
4254         * html-url.c (collect_tags_mapper): Set ID to the ID of the
4255         "content" attribute, not "http-equiv".
4256         (collect_tags_mapper): Don't use OFFSET to hack the raw_* values;
4257         instead, store the information that this entry belongs to a
4258         "refresh" link.
4259
4260 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4261
4262         * version.c: Wget 1.8-beta1 is released.
4263
4264 2001-12-01  Hrvoje Niksic  <hniksic@arsdigita.com>
4265
4266         * recur.c (retrieve_tree): Allow -p retrievals to exceed maximum
4267         depth by more than one.
4268
4269 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
4270
4271         * retr.c (retrieve_url): Don't allow more than 20 redirections.
4272
4273 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
4274
4275         * recur.c (retrieve_tree): Skip the non-inline entries when
4276         enqueuing the children of a leaf HTML node in -p mode.
4277         (descend_url_p): Ignore opt.no_parent when in -p mode and UPOS is
4278         "inline".
4279
4280         * html-url.c (get_urls_html): Don't accept dash_p_leaf_HTML.
4281         (collect_tags_mapper): When an entry is "inline", mark it as such.
4282
4283         * recur.c (descend_url_p): Fix test when checking for
4284         acceptance/rejection rules.
4285
4286 2001-10-31 Daniel BODEA <dali@dali-designs.com>
4287
4288         * netrc.c (search_netrc): When slack_default is 0, still look for
4289         an account with matching password, just not the "default account".
4290         HTTP Authorization using .netrc should now work as expected.
4291
4292 2001-11-30  T. Bharath  <TBharath@responsenetworks.com>
4293
4294         * http.c (persistent_available_p): Call SHUTDOWN_SSL if
4295         test_socket_open fails.
4296
4297 2001-11-30  Hrvoje Niksic  <hniksic@arsdigita.com>
4298
4299         * progress.c (display_image): Just print one CR to reset the
4300         cursor position.
4301
4302 2001-11-30  Christian Fraenkel  <c.fraenkel@gmx.net>
4303
4304         * init.c: New command `ssl_egd_sock'.
4305
4306         * main.c (main): New option `--sslegdsock'.
4307
4308         * gen_sslfunc.c (ssl_init_prng): Seed the RNG using EGD.
4309
4310 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4311
4312         * cmpt.c (memmove): Include a simple memmove implementation.
4313
4314 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4315
4316         * headers: Guard against header files being included twice.
4317
4318 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4319
4320         * gen-md5.c: Use unsigned char * as the buffer argument to
4321         gen_md5_update.
4322
4323 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4324
4325         * connect.h: Declare select_fd.
4326
4327 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4328
4329         * recur.c (descend_url_p): When resolving no_parent, compare with
4330         start_url, not parent url.  Otherwise link from /a/b/ to /a/c/
4331         wouldn't be followed, although the download started from /a/.
4332
4333 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
4334
4335         * config.h.ms, mswindows.h: defined HAVE_ISATTY, use _isatty for
4336         MS VC; somebody with Borland compiler please check and provide
4337         patch if possible;
4338
4339         * cmpt.c: provided a usleep emulation.
4340
4341 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4342
4343         * host.c (address_list_new): Initialize al->faulty.
4344
4345 2001-11-29  Hrvoje Niksic  <hniksic@arsdigita.com>
4346
4347         * http.c (http_process_range): Accept the broken output of
4348         "JavaWebServer/1.1.1".
4349
4350 2001-11-28  Hrvoje Niksic  <hniksic@arsdigita.com>
4351
4352         * progress.c (dot_set_params): If PARAMS is unspecified, use
4353         dot_style, if available.
4354
4355         * init.c: Ditto.
4356
4357         * main.c (main): Resurect --dot-style.
4358
4359         * progress.c (dot_finish): Print the quantity if we're left at the
4360         beginning of a row.
4361
4362 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4363
4364         * cmpt.c (random): Removed.
4365
4366         * retr.c (sleep_between_retrievals): Use the more portable rand()
4367         instead of random().
4368
4369 2001-11-27  Ian Abbott <abbotti@mev.co.uk>
4370
4371         * retr.c (retrieve_from_file): Initialize `new_file' to NULL to
4372         prevent seg fault.
4373
4374 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4375
4376         * connect.c (connect_to_many): Use address_list_set_faulty to
4377         prevent the faulty address from being reused.
4378
4379         * host.c (address_list_set_faulty): New function.
4380         (address_list_get_bounds): New function, instead of
4381         address_list_count.
4382
4383 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4384
4385         * url.c (convert_links): Don't translate %d-%d.
4386
4387         * main.c (print_help): Remove stray HAVE_RANDOM code.
4388
4389 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4390
4391         * ftp.c (getftp): Improve output after sending PASV.  Don't
4392         attempt to "look up" the IP address we already know; call
4393         connect_to_one directly.
4394
4395 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4396
4397         * progress.c: Change the default progress implementation to "bar".
4398
4399 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4400
4401         * progress.c (bar_create): Print two newlines.
4402
4403 2001-11-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4404
4405         * cmpt.c (random): New function, a simple-minded replacement for
4406         random() on systems that don't have it.
4407
4408 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4409
4410         * config.h.in: Put a HAVE_USLEEP stub.
4411
4412         * cmpt.c (usleep): Replacement implementation of usleep using
4413         select.
4414
4415         * init.c: New option init_rate.
4416
4417         * main.c (main): New option --limit-rate.
4418
4419         * retr.c (limit_bandwidth): New function.
4420         (get_contents): Call it to limit the bandwidth used when
4421         downloading.
4422
4423         * progress.c (dot_update): Would print the wrong download speed on
4424         rows other than the first one when the download was continued.
4425         (dot_finish): Ditto.
4426
4427 2001-11-26  Ian Abbott <abbotti@mev.co.uk>
4428
4429         * http.c (gethttp): fix undeclared variable 'err' when compiled
4430         with HAVE_SSL.
4431
4432 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4433
4434         * progress.c: Don't allocate new timers; use the timing data
4435         propagated from the caller.
4436
4437         * retr.c (get_contents): Allocate and use a timer.
4438
4439 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4440
4441         * http.c (last_host_ip): Made into an address_list.
4442         (invalidate_persistent): Release pc_last_host_ip.
4443         (register_persistent): Use lookup_host.
4444         (persistent_available_p): Check for equality of hosts using
4445         address_list_match_all.  Call address_list_release.
4446         (http_cleanup): New function.
4447
4448         * ftp.c (getftp): Use lookup_host and connect_to_many.
4449
4450         * http.c (gethttp): Use lookup_host and connect_to_many.
4451
4452         * connect.c (make_connection): Removed.
4453         (connect_to_one): New function.
4454         (connect_to_many): Ditto.
4455         (set_connection_host_name): Ditto.
4456
4457         * host.c (lookup_host): New function; new return type.
4458         (address_list_new): New function.
4459         (address_list_count): Ditto.
4460         (address_list_copy_one): Ditto.
4461         (address_list_delete): Ditto.
4462         (address_list_release): Ditto.
4463         (pretty_print_address): Ditto.
4464
4465 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4466
4467         * recur.c (retrieve_tree): In case of followed redirection,
4468         blacklist the pre-redirection URL.
4469
4470 2001-11-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4471
4472         * recur.c (descend_redirect_p): New function.
4473         (retrieve_tree): Make sure redirections are not blindly followed.
4474
4475 2001-11-04  Alan Eldridge  <alane@geeksrus.net>
4476
4477         * config.h.in: added HAVE_RANDOM.
4478
4479         * options.h: added random_wait to struct options.
4480
4481         * main.c (print_help [HAVE_RANDOM], main): added arg parsing, help
4482         for --random-wait.
4483
4484         * retr.c (sleep_between_retrievals) [HAVE_RANDOM]: added
4485         implementation of random wait times.
4486
4487         * init.c (commands): added "randomwait" keyword.
4488
4489 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4490
4491         * recur.c (descend_url_p): Be more conservative with blacklisting
4492         URLs.
4493         (convert_all_links): Print how many files have been converted, and
4494         how long it took.
4495
4496         * progress.c (create_image): Place the number of downloaded bytes
4497         right after the progress bar.
4498
4499         * utils.c (suffix): Return a pointer into the string.
4500
4501 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4502
4503         * url.c (convert_links): Handle CO_NULLIFY_BASE.
4504
4505         * recur.c (retrieve_tree): Ignore download-ignorable children.
4506         (convert_all_links): Specify CO_NULLIFY_BASE when link_base_p.
4507
4508         * html-url.c (handle_link): Return the newly created urlpos.
4509         (collect_tags_mapper): When dealing with BASE, store the base
4510         reference and mark it as download-ignorable.
4511
4512 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4513
4514         * url.c (convert_links): Attempt to quote '?' as "%3F" when
4515         linking to local files.  Given up on the attempt, as it breaks
4516         local browsing.
4517
4518 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4519
4520         * main.c (private_initialize): Removed.
4521         (main): Don't call private_initialize.
4522
4523         * http.c: Call lookup_host.
4524
4525         * host.c (host_init): Removed.
4526         (add_host_to_cache): Initialize host_name_address_map here, on
4527         demand.
4528         (ngethostbyname): Commented out.
4529
4530         * connect.c (make_connection): Remove dead code; use lookup_host.
4531
4532         * host.c (store_hostaddress): Renamed to lookup_host and reversed
4533         the args.
4534         Removed host_address_name_map and host_slave_master_map.
4535
4536 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4537
4538         * progress.c (dot_create): Align the "[ skipping ... ]" string
4539         with the dots.
4540
4541         * retr.c (rate): Split into two functions: calc_rate and
4542         retr_rate.
4543
4544         * progress.c (create_image): Draw a dummy progress bar even when
4545         total size is unknown.
4546         (display_image): Place the text cursor at the end of the "image".
4547
4548 2001-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
4549
4550         * url.c (reencode_string): Use unsigned char, not char --
4551         otherwise the hex digits come out wrong for 8-bit chars such as
4552         nbsp.
4553         (lowercase_str): New function.
4554         (url_parse): Canonicalize u->url if needed.
4555         (get_urls_file): Parse each URL, and return only the valid ones.
4556         (free_urlpos): Call url_free.
4557         (mkstruct): Add :port if the port is non-standard.
4558         (mkstruct): Append the query string to the file name, if any.
4559         (urlpath_length): Use strpbrk_or_eos.
4560         (uri_merge_1): Handle the cases where LINK is an empty string,
4561         where LINK consists only of query, and where LINK consists only of
4562         fragment.
4563         (convert_links): Count and report both kinds of conversion.
4564         (downloaded_file): Use a hash table, not a list.
4565         (downloaded_files_free): Free the hash table.
4566
4567         * retr.c (retrieve_from_file): Ditto.
4568
4569         * main.c (main): Call either retrieve_url or retrieve_tree
4570         for each URL, not both.
4571
4572         * retr.c (register_all_redirections): New function.
4573         (register_redirections_mapper): Ditto.
4574         (retrieve_url): Register the redirections.
4575         (retrieve_url): Make the string "Error parsing proxy ..." 
4576         translatable.
4577
4578         * res.c (add_path): Strip leading slash from robots.txt paths so
4579         that the path representations are "compatible".
4580         (free_specs): Free each individual path, too.
4581         (res_cleanup): New function.
4582         (cleanup_hash_table_mapper): Ditto.
4583
4584         * recur.c (url_queue_new): New function.
4585         (url_queue_delete): Ditto.
4586         (url_enqueue): Ditto.
4587         (url_dequeue): Ditto.
4588         (retrieve_tree): New function, replacement for recursive_retrieve.
4589         (descend_url_p): New function.
4590         (register_redirection): New function.
4591
4592         * progress.c (create_image): Cosmetic changes.
4593
4594         * init.c (cleanup): Do all those complex cleanups only if
4595         DEBUG_MALLOC is defined.
4596
4597         * main.c: Removed --simple-check and the corresponding
4598         simple_host_check in init.c.
4599
4600         * html-url.c (handle_link): Parse the URL here, and propagate the
4601         parsed URL to the caller, who would otherwise have to parse it
4602         again.
4603
4604         * host.c (xstrdup_lower): Moved to utils.c.
4605         (realhost): Removed.
4606         (same_host): Ditto.
4607
4608 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4609
4610         * utils.c (path_simplify): Preserver the (non-)existence of
4611         leading slash.  Return non-zero if changes were made.
4612
4613 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4614
4615         * progress.c (bar_update): Don't modify bp->total_length if it is
4616         zero.
4617
4618 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4619
4620         * retr.c (retrieve_url): When the redirection URL doesn't parse,
4621         print the correct error message rather than "UNKNOWN".
4622
4623 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4624
4625         * progress.c (bar_finish): If the timer didn't record any time
4626         since the download beginning, fake 1ms.
4627
4628 2001-11-24  Hrvoje Niksic  <hniksic@arsdigita.com>
4629
4630         * recur.c (recursive_retrieve): Fix typo.
4631
4632 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4633
4634         * progress.c (create_image): Don't translate "%ld ".
4635
4636 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4637
4638         * progress.c (bar_set_params): Allow the user to force the use of
4639         the bar.
4640
4641 2001-11-23  Lemble Gregory  <gregory.lemble@st.com>
4642
4643         * gen_sslfunc.c (ssl_init_prng): New function; seed the SSL RNG.
4644
4645 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4646
4647         * progress.c: Renamed dp_* functions to dot_* for greater clarity
4648         and consistency with bar_*.
4649         (print_download_speed): Get rid of the unneeded '@' character.
4650         (create_image): Fix download rate geometry.
4651
4652         * progress.c (print_elapsed): Remove spurious space.
4653         (print_elapsed): Renamed to print_download_speed, since that's
4654         what it does.
4655
4656 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4657
4658         * progress.c (bar_update): If the downloaded amount becomes larger
4659         than the expected amount, adjust the expected amount accordingly.
4660
4661 2001-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
4662
4663         * utils.c (determine_screen_width): New function.
4664
4665         * main.c (main): New option `--progress=TYPE'.
4666         (main): Implement compatibility with the old option `--dot-style'.
4667
4668         * init.c: Removed cmd_spec_dotstyle -- that logic is now in
4669         dp_set_params.
4670         (cmd_spec_progress): New function.
4671
4672         * retr.c (get_contents): Use the progress_* functions instead of
4673         the old show_progress().
4674         (show_progress): Removed.
4675         (rate): Print "xxxx.xx K/s" instead of "KB/s".  Ditto for MB/s,
4676         etc.
4677
4678         * progress.c (set_progress_implementation): New function.
4679         (valid_progress_implementation_p): Ditto.
4680         (progress_create): Ditto.
4681         (progress_update): Ditto.
4682         (progress_finish): Ditto.
4683         (dp_create): Ditto.
4684         (dp_update): Ditto.
4685         (dp_finish): Ditto.
4686         (dp_set_params): Ditto.
4687         (print_elapsed): Ditto.
4688
4689 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
4690
4691         * retr.c (show_progress): Use it.
4692
4693         * log.c (log_set_flush): New function.
4694
4695 2001-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
4696
4697         * utils.c (path_simplify): Don't remove trailing slashes.
4698
4699         * ftp.c (ftp_get_listing): Use it.
4700
4701         * utils.c (file_merge): New function.
4702
4703         * url.c (opt_url): Removed.
4704
4705         * recur.c (recursive_retrieve): Inline "opt_url" logic.
4706
4707         * main.c (main): Use xfree(), not free().
4708
4709         * url.c (rewrite_url_maybe): Renamed to rewrite_shorthand_url.
4710
4711         * ftp.c (ccon): Move `ccon' typedef here, since it's only used
4712         internally.
4713
4714         * config.h.in: Include a stub for HAVE_STRPBRK.
4715
4716         * cmpt.c (strpbrk): Include a replacement for systems without
4717         strpbrk().
4718
4719         * ftp.c: Use url_set_dir and url_set_file when modifying the URL.
4720
4721         * url.c (url_set_dir): New function.
4722         (url_set_file): Ditto.
4723
4724         * ftp-basic.c (ftp_process_type): Process FTP type here; the URL
4725         parser makes the URL "params" available, so we can do that in this
4726         function.
4727
4728         * retr.c: Ditto.
4729
4730         * ftp.c: Ditto; pass the local file information in `ccon'.
4731
4732         * http.c: Get rid of the ugly kludge that had URL being replaced
4733         with the proxy URL when proxy retrieval was requested.  Use a
4734         separate parameter to http_loop and gethttp for the proxy URL.
4735
4736         * http.c: Changed to reflect the fact that local file, proxy, and
4737         referer information are no longer stored in struct url.  The local
4738         file information is passed in `struct hstat' now.
4739
4740         * url.c: Reworked URL parsing to be more regular.  Reencode the
4741         URL using reencode_string.
4742         Removed non-URL-related information from struct url.  This
4743         includes fields `proxy', `local', and `referer'.
4744
4745 2001-11-22  Jochen Hein  <jochen@jochen.org>
4746
4747         * main.c (main): Split the copyright notice for easier
4748         translation.
4749
4750 2001-08-21  Dave Turner <dct25@hermes.cam.ac.uk>
4751
4752         * ftp-basic.c (ftp_size): New function to send non-standard SIZE
4753           command to server to request file size.
4754         * ftp.h (ftp_size): Export it.
4755         * ftp.c (getftp): Use new ftp_size function if restoring
4756           transfer of a file with unknown size.
4757
4758 2001-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
4759
4760         * url.c (parseurl): Don't depend on the now-obsolete TYPE.
4761
4762 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4763
4764         * url.c (getproxy): Handle URL shorthands.
4765
4766 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4767
4768         * main.c: Remove --wait / --waitretry backwards compatibility
4769         code.
4770         
4771 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4772
4773         * main.c (main): Use it.
4774
4775         * url.c (rewrite_url_maybe): New function.
4776
4777 2001-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
4778
4779         * url.c: Clean up handling of URL schemes.
4780
4781 2001-05-13  Hrvoje Niksic  <hniksic@arsdigita.com>
4782
4783         * url.c: Get rid of `protostrings'.
4784         (skip_proto): Don't use protostrings.
4785         (has_proto): Ditto.
4786
4787 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4788
4789         * Makefile.in: Conditionally compile getopt.o.
4790
4791 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4792
4793         * md5.h: Renamed to gnu-md5.h.
4794
4795         * md5.c: Renamed to gnu-md5.c.
4796
4797         * http.c: Ditto.
4798
4799         * ftp-opie.c: Use the new macros.
4800
4801         * sysdep.h: Define md5-related macros.
4802
4803         * config.h.in: Define HAVE_SOLARIS_MD5 or HAVE_BUILTIN_MD5
4804         depending on which md5 implementation is used.
4805
4806 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4807
4808         * res.c (res_register_specs): Initialize OLD and HP_OLD to appease
4809         the compiler.
4810
4811 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4812
4813         * http.c (gethttp): Print the whole response line when printing
4814         headers is requested.
4815
4816 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4817
4818         * res.c: New file.  Implement all RES-related code here.
4819
4820 2001-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4821
4822         * version.c: Wget 1.7.1 is released.
4823
4824 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
4825
4826         * headers.c (header_extract_number): Ignore trailing whitespace.
4827
4828 2001-08-24  Ian Abbott  <abbotti@mev.co.uk>
4829
4830         * html-url.c (collect_tags_mapper): Fix bug converting links
4831         with -k option for tags with multiple link attributes by
4832         handling links in the order they appear.
4833
4834 2001-08-15  Ian Abbott  <abbotti@mev.co.uk>
4835
4836         * ftp.c (ftp_loop_internal): Avoid a potential buffer overflow in
4837           the call to the 'rate' function by moving it past the error
4838           checking for the 'getftp' function return value.
4839
4840 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
4841
4842         * html-parse.c (advance_declaration): Use 0x22 instead of '"' or
4843         '\"'.  Different compilers' assert macros are broken in different
4844         ways.
4845
4846 2001-09-29  Christian Fraenkel  <c.fraenkel@gmx.net>
4847
4848         * http.c (gethttp): print debug output for errors occuring during
4849         the ssl handshake.
4850
4851 2001-11-16  Chris Seawood  <cls@seawood.org>
4852
4853         * init.c: Ditto.
4854
4855         * host.c: Ditto.
4856
4857         * connect.c: Ditto.
4858
4859         * sysdep.h: Support compilation under BEOS.
4860
4861 2001-06-08  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
4862
4863         * url.c (url_equal): Fix a memory leak when parseurl returns an
4864         error on the second URL. Also, since url_equal is not used at the
4865         moment, do not compile it.
4866
4867         * url.h: Ditto for the prototype of url_equal.
4868
4869 2001-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
4870
4871         * html-parse.c (map_html_tags): Support XML-style empty tags.
4872
4873 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4874
4875         * wget.h (DO_REALLOC_FROM_ALLOCA): Check for do_realloc_newsize in
4876         loop condition because we're no longer setting SIZEVAR here.
4877
4878 2001-06-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4879
4880         * wget.h (DO_REALLOC_FROM_ALLOCA): Set SIZEVAR after the memcpy()
4881         call because it needs the old value.
4882
4883 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4884
4885         * cookies.c (ATTR_NAME_CHAR): Allow almost any character to be in
4886         an attribute name.
4887
4888 2001-06-18  Hrvoje Niksic  <hniksic@arsdigita.com>
4889
4890         * url.c (url_filename): Make sure that slashes that sneak in to
4891         u->file via query string get protected.
4892         (file_name_protect_query_string): New function.
4893
4894 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4895
4896         * recur.c (recursive_retrieve): Also check undesirable_urls with
4897         canonicalized URL.
4898
4899 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4900
4901         * http.c (gethttp): Search `.netrc' with real host, not the proxy
4902         one.
4903
4904 2001-06-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4905
4906         * sysdep.h (MAP_FAILED): Provide MAP_FAILED for systems that don't
4907         define it.
4908
4909 2001-06-09  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4910
4911         * ftp.h: Provide correct prototype for ftp_parse_ls().
4912
4913 2001-06-04  Hrvoje Niksic  <hniksic@arsdigita.com>
4914
4915         * version.c: Wget 1.7 is released.
4916
4917 2001-06-03  Karl Eichwalder  <ke@suse.de>
4918
4919         * ftp-ls.c (ftp_parse_ls): Fix typo.
4920
4921 2001-05-27  Hrvoje Niksic  <hniksic@arsdigita.com>
4922
4923         * all: Update copyright information.
4924
4925 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4926
4927         * http.c (gethttp): Indicate that the continued download failed
4928         for *this* file.
4929
4930 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4931
4932         * version.c: Wget 1.7-pre1 is released.
4933
4934 2001-05-26  Hrvoje Niksic  <hniksic@arsdigita.com>
4935
4936         * version.c: Updated version to 1.7-pre1.
4937
4938 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4939
4940         * gen_sslfunc.c: Don't include <sys/time.h> directly.
4941
4942 2001-05-14  Hrvoje Niksic  <hniksic@arsdigita.com>
4943
4944         * http.c (gethttp): Use real URL data for cookies, not the proxy
4945         stuff.
4946
4947 2001-05-12  Hrvoje Niksic  <hniksic@arsdigita.com>
4948
4949         * main.c (print_help): Document `--no-http-keep-alive'.
4950
4951         * utils.c (numdigit): Handle negative numbers *correctly*.
4952
4953         * hash.c (make_nocase_string_hash_table): Use term "nocase" rather
4954         than the confusing "unsigned".
4955
4956         * utils.c (string_set_contains): Renamed from string_set_exists.
4957
4958         * hash.c (hash_table_contains): Renamed from hash_table_exists.
4959
4960         * cookies.c: Move case-insensitive hash tables to hash.c.
4961
4962 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4963
4964         * http.c (gethttp): Before concluding that the file is already
4965         fully retrieved, make sure that the file existed and `Range' was
4966         actually requested.
4967
4968 2001-05-09  Hrvoje Niksic  <hniksic@arsdigita.com>
4969
4970         * cookies.c (eliminate_dups): New function.
4971         (build_cookies_request): Use it.
4972         (build_cookies_request): Set chain_store_size after reallocating
4973         all_chains.
4974         (check_domain_match): Annotated for easier future debugging.
4975         (store_cookie): In the debug message, print whether the cookie is
4976         permanent.
4977
4978 2001-05-08  Hrvoje Niksic  <hniksic@arsdigita.com>
4979
4980         * http.c (http_loop): Reset no_truncate before deciding whether to
4981         set it.
4982         (gethttp): Further clarify "-c conflicts with existing file" error
4983         message, based on input from Herold Heiko.
4984
4985 2001-05-07  Hrvoje Niksic  <hniksic@arsdigita.com>
4986
4987         * http.c (http_loop): If restval is set, set no_truncate to 1
4988         unconditionally.
4989
4990 2001-05-02  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
4991
4992         * ftp-ls.c (ftp_parse_winnt_ls): Assure months are being correctly
4993         converted. Pointed out by <Stefan.Weil@de.heidelberg.com>.
4994         (ftp_parse_vms_ls): Ditto.
4995
4996 2001-04-30  Hrvoje Niksic  <hniksic@arsdigita.com>
4997
4998         * init.c (cmd_address): Zero SIN before using it; apparently
4999         needed on *BSD.
5000
5001 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
5002
5003         * ftp.c (ftp_loop_internal): Don't set NO_TRUNCATE if the file is
5004         empty.
5005
5006 2001-04-29  Hrvoje Niksic  <hniksic@arsdigita.com>
5007
5008         * main.c (main): Make `--cookies' respect its argument.
5009
5010 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
5011
5012         * main.c (main): Removed undocumented option `--email-address'.
5013
5014         * netrc.c: Use the latest read_whole_line.
5015
5016         * init.c (defaults): Set opt.ftp_pass to "-wget@".
5017
5018         * mswindows.c (pwd_cuserid): Ditto.
5019
5020         * utils.c (pwd_cuserid): Removed.
5021
5022         * host.c (ftp_getaddress): Removed.
5023
5024 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
5025
5026         (http_loop): Allocate space for filename_plus_orig_suffix with
5027         alloca; this is more efficient and removes the need to free it
5028         before each and every return.
5029
5030 2001-04-28  Hrvoje Niksic  <hniksic@arsdigita.com>
5031
5032         * http.c (gethttp): Return RETRUNNEEDED when the retrieval is
5033         unneeded because the file is already there and fully downloaded,
5034         and -c is specified.
5035         (http_loop): Handle RETRUNNEEDED.
5036
5037         * wget.h (uerr_t): New value RETRUNNEEDED.
5038
5039         * http.c (http_loop): Set no_truncate for files that both exist
5040         and are non-empty.
5041         (gethttp): Consider the download finished when restval >= contlen,
5042         not only when restval==contlen.
5043         (gethttp): Handle redirection before giving up due to -c.
5044         (gethttp): Clarify error message which explains that -c will not
5045         truncate the file.
5046         (gethttp): When returning CONTNOTSUPPORTED, don't forget to free
5047         the stuff that needs freeing and release the socket.
5048
5049 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5050
5051         * main.c (print_help): Wget booleans accept "off", not "no".
5052
5053 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5054
5055         * http.c (http_loop): If allow_cache is zero, always disable
5056         caching, not only when retrieving through proxy.
5057
5058         * init.c: Ditto.
5059
5060         * options.h (struct options): Rename proxy_cache to allow_cache.
5061
5062 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5063
5064         * http.c (mktime_from_utc): Improve documentation.
5065         (http_atotm): Put format strings into a separate array.
5066
5067 2001-04-27  Hrvoje Niksic  <hniksic@arsdigita.com>
5068
5069         * safe-ctype.h: Instead of throwing #error when isalpha is
5070         defined, redefine it to something that will throw a compile-time
5071         error if actually *used*.  Do the same for the rest of the
5072         standard C macros.
5073
5074 2001-04-26  Hrvoje Niksic  <hniksic@arsdigita.com>
5075
5076         * url.c (getproxy): Ignore empty proxy vars.
5077
5078 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5079
5080         * http.c (http_loop): Would load cookies every time.
5081
5082         * cookies.c (load_cookies): Handle cookies whose values contain
5083         embedded spaces.
5084
5085 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5086
5087         * utils.c: Define each DIGITS_* in one line.
5088
5089 2001-04-25  Roger L. Beeman  <beeman@cisco.com>
5090
5091         * http.c (http_atotm): Initialize t.tm_isdst to 0.
5092         (mktime_from_utc): Prevent mktime() from having discontinuities at
5093         DST transition points.
5094
5095 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5096
5097         * html-url.c (get_urls_html): Fix documentation.
5098
5099 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5100
5101         * url.c (UNSAFE_CHAR): Reimplement using a static table.
5102         (url_init): Removed.
5103         (init_unsafe_char_table): Removed.
5104
5105 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5106
5107         * snprintf.c (dopr): Replace ISDIGIT with '0' <= ch && ch <= '9'.
5108
5109 2001-04-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5110
5111         * utils.c: Document timer functions.
5112
5113         * retr.c (rate): Use it.
5114         (rate): Print in GB/s if transfer rate exceeds 1 GB/s.
5115
5116         * utils.c (wtimer_granularity): New function.
5117
5118 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5119
5120         * retr.c (show_progress): Ditto.
5121
5122         * ftp.c (getftp): Ditto.
5123
5124         * http.c (gethttp): Use new timer functions.
5125
5126         * utils.c (wtimer_allocate): New function.
5127         (wtimer_new): Ditto.
5128         (wtimer_delete): Ditto.
5129         (wtimer_reset): Ditto.
5130         (wtimer_elapsed): Ditto.
5131
5132 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5133
5134         * utils.c (long_to_string): New, faster version.  Favors smaller
5135         numbers; much of the calculation is now done at compile-time.
5136
5137 2001-04-24  Hrvoje Niksic  <hniksic@arsdigita.com>
5138
5139         * utils.c (numdigit): Handle negative numbers.
5140
5141 2001-04-23  Hrvoje Niksic  <hniksic@arsdigita.com>
5142
5143         * retr.c (show_progress): Print the download rate even when the
5144         percentages are not available.
5145
5146 2001-04-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5147
5148         * ftp.c (getftp): Adjust expected_bytes if the length is
5149         authoritative.
5150
5151 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
5152
5153         * url.c: Don't declare `construct'.
5154
5155         * hash.c (grow_hash_table): Speed up rehashing; inline storing of
5156         mappings to new locations.
5157         (hash_table_new): Make resize_threshold a field in the hash table,
5158         so we don't have to recalculate it in each hash_table_put.
5159         (grow_hash_table): Update resize_threshold.
5160         (MAX): Remove unused macro.
5161         (prime_size): Made static.
5162
5163 2001-04-14  Hrvoje Niksic  <hniksic@arsdigita.com>
5164
5165         * retr.c (retrieve_url): Call uri_merge, not url_concat.
5166
5167         * html-url.c (collect_tags_mapper): Call uri_merge, not
5168         url_concat.
5169
5170         * url.c (mkstruct): Use encode_string instead of xstrdup followed
5171         by URL_CLEANSE.
5172         (path_simplify_with_kludge): Deleted.
5173         (contains_unsafe): Deleted.
5174         (construct): Renamed to uri_merge_1.
5175         (url_concat): Renamed to uri_merge.
5176
5177 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5178
5179         * url.c (str_url): Use encode_string instead of the unnecessary
5180         CLEANDUP.
5181         (encode_string_maybe): New function, returns input string if no
5182         encoding is needed.
5183         (encode_string): Call encode_string_maybe to do the dirty work,
5184         xstrdup if no work needed.
5185
5186 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5187
5188         * wget.h (XDIGIT_TO_xchar): Define here.
5189
5190         * url.c (decode_string): Use new name.
5191         (encode_string): Ditto.
5192
5193         * http.c (XDIGIT_TO_xchar): Rename HEXD2asc to XDIGIT_TO_xchar.
5194         (dump_hash): Use new name.
5195
5196         * wget.h: Rename ASC2HEXD and HEXD2ASC to XCHAR_TO_XDIGIT and
5197         XDIGIT_TO_XCHAR respectively.
5198
5199 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5200
5201         * init.c: Include cookies.h.
5202
5203         * cookies.h: Declare cookies_cleanup.
5204
5205         * cookies.c (check_domain_match): Remove unused variable.
5206         (save_cookies): Remove extraneous argument from debug statement.
5207
5208         * host.c (same_host): Don't call skip_url.
5209
5210         * url.c (skip_url): Removed.  Removed its calls from various
5211         functions in url.c.
5212
5213 2001-04-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5214
5215         * cookies.c (unsigned_string_hash): Use the new code in
5216         string_hash as reference.
5217
5218         * hash.c (hash_table_map): Allow deletion and change of the
5219         element processed by MAPFUN.
5220         (string_hash): Use the function from glib.
5221
5222 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5223
5224         * config.h.in: Include #undef stub.
5225
5226         * hash.c (hash_table_remove): Rewrite to actually clear deleted
5227         entries instead of just marking them as deleted.
5228
5229 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5230
5231         * hash.h: Declare hash_table_get_pair and hash_table_count.
5232
5233 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5234
5235         * cookies.c: Declare http_atotm.
5236
5237 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5238
5239         * ftp-ls.c (ftp_parse_unix_ls): Use octal constants for
5240         permissions.  A compiler that doesn't accept octal constants is
5241         seriously broken and shouldn't be used -- octal constants were
5242         present in K&R C!
5243
5244 2001-01-20  Karl Eichwalder  <ke@suse.de>
5245
5246         * Makefile.in: Provide and use DESTDIR according to the Coding
5247         Standards.
5248
5249 2001-04-12  Hrvoje Niksic  <hniksic@arsdigita.com>
5250
5251         * ftp-ls.c (ftp_parse_vms_ls): Make seconds optional in time
5252         specification.
5253
5254 2001-04-11  Hrvoje Niksic  <hniksic@arsdigita.com>
5255
5256         * url.c (parseurl): Don't strip trailing slash when u->dir is "/"
5257         because that strips the *leading* slash, thus forcing relative
5258         FTP retrieval.
5259
5260 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5261
5262         * ftp.c (getftp): Convert initial FTP directory from VMS to UNIX
5263         notation for VMS servers. 
5264         (ftp_retrieve_dirs): Do not prepend '/' to f->name when
5265         odir is an empty string.
5266
5267 2001-04-10  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5268
5269         * ftp-ls.c (ftp_parse_winnt_ls): Made the fix for AM/PM more
5270         effective. Suggested by Edward J. Sabol.
5271
5272 2001-04-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5273
5274         * cookies.c (build_cookies_request): Use and sort cookies from all
5275         matching domains.
5276         (build_cookies_request): Check for duplicates before generating
5277         the `Cookies' header.
5278
5279         * main.c (main): Don't load cookies here.
5280         (main): Make loadcookies and savecookies call the correct command.
5281
5282         * http.c (http_loop): Load cookies on-demand.
5283
5284 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
5285
5286         * http.c (gethttp): Fix indentation of SSL ifdef.
5287
5288 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
5289
5290         * ftp.c (ftp_retrieve_dirs): Don't forcibly prepend "/" to u->dir;
5291         that hack is no longer necessary.
5292         (getftp): Prepend initial directory to *non*-absolute u->dir's.
5293
5294 2001-04-09  Hrvoje Niksic  <hniksic@arsdigita.com>
5295
5296         * init.c (cmd_file): New function.
5297         (enable_tilde_expansion): New variable.
5298         (run_wgetrc): Use it.
5299         (cmd_file): Use it.
5300
5301 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
5302
5303         * init.c: Include cookie-related options.
5304
5305         * main.c (main): Include cookie-specific options.
5306         (main): Load cookies before download is finished.
5307         (main): Save cookies when done.
5308
5309         * http.c (gethttp): Process the `Set-Cookie' header.
5310         (gethttp): Include cookies in the response.
5311
5312         * cookies.c: New file.
5313
5314 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
5315
5316         * utils.c (datetime_str): New function.
5317
5318 2001-04-08  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5319
5320         * ftp-ls.c (ftp_parse_winnt_ls): The AM/PM change did assume
5321         12:01PM == 00:01, which was obviously wrong. Taken care of this
5322         anomaly.
5323
5324         * ChangeLog: Removed an excess conflict marker. Reformatted the
5325         entry by Philipp Thomas from 2001-03-09.
5326
5327         * ftp-ls.c (ftp_parse_winnt_ls): Ensure that adjusted PM hours lay
5328         between 0 and 23. Elminate unused variable `sec'.
5329
5330 2001-04-08  Hrvoje Niksic  <hniksic@arsdigita.com>
5331
5332         * hash.c (hash_table_count): New function.
5333
5334 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5335
5336         * utils.c (read_file): Cast MAP_FAILED to char *.  Enforced by
5337         Digital Unix cc.
5338
5339 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5340
5341         * config.h.in: Oops, do the namespace tweaks only on systems we
5342         know about.
5343
5344 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5345
5346         * hash.c: Include <string.h>.
5347
5348 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5349
5350         * config.h.in: Define "compilation environment" options that work
5351         under Linux and Solaris.  To be reviewed on other OS'es.
5352
5353 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5354
5355         * http.c (gethttp): Prepend literal newline with `\n\'.
5356
5357 2001-04-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5358
5359         * sysdep.h: Don't define VERY_LONG_FORMAT.
5360
5361         * utils.c (very_long_to_string): New function.
5362         (legible_very_long): Use it; don't use VERY_LONG_FORMAT.
5363
5364 2001-04-04  Christian Fraenkel  <christian.fraenkel@gmx.net>
5365
5366         * url.c (parse_uname): Would run past the end of the string if the
5367         username was present, but the URL did not contain a slash, e.g.
5368         http://foo:bar@myhost.
5369
5370 2001-04-03  KOJIMA Hajime  <kjm@rins.ryukoku.ac.jp>
5371
5372         * http.c (http_atotm): Use %A instead of %a to match full
5373         weekday.  (On most systems there is no difference.)
5374
5375 2001-04-03  Paul Bludov  <paul@ozero.net>
5376
5377         * mswindows.c (sleep): Use SleepEx() instead of Sleep().
5378         (ws_changetitle): Use alloca() instead of malloc() to avoid memory
5379         leak.
5380         (ws_mypath): Use GetModuleFileName instead of argv[0].
5381         (ws_startup): Use data.wVersion for comparison.
5382
5383 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5384
5385         * http.c (http_loop): Ditto.
5386
5387         * ftp.c (ftp_loop_internal): Made the check whether to continue
5388         retrieval `-O'-friendly.
5389
5390 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5391
5392         * netrc.c (parse_netrc): Don't trim the line endings explicitly;
5393         they will be handled as whitespace.
5394         (parse_netrc): Correctly handle lines that end with whitespace.
5395
5396 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5397
5398         * retr.c (retrieve_url): New variable global_download_count used
5399         to identify first retrieval.
5400
5401         * ftp.c (getftp): Ditto.
5402
5403         * http.c (gethttp): Rewind opt.dfp only on first retrieval.
5404
5405 2001-04-02  Hrvoje Niksic  <hniksic@arsdigita.com>
5406
5407         * init.c (cmd_address): Heap-allocate the address that gets stored
5408         to CLOSURE.  Old code would simply assign an address on the stack.
5409
5410 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
5411
5412         * ftp.c (ftp_get_listing): Propagate error status.
5413         (ftp_retrieve_glob): Use it.
5414         (ftp_loop): Ditto.
5415
5416 2001-04-01  Nicolas Lichtmaier <nick@debian.org>
5417
5418         * main.c (main): Add -C to the string that is the third arg to
5419         getopt_long().
5420
5421 2001-04-01  Hrvoje Niksic  <hniksic@arsdigita.com>
5422
5423         * ftp.c (getftp): Don't start the download from scratch if `-c'
5424         was specified, but the file is already fully downloaded.
5425
5426         * http.c (gethttp): Don't truncate a pre-existing file if `-c' was
5427         specified and the server doesn't support continued download.
5428         (gethttp): Don't start the download from scratch if `-c' was
5429         specified, but the file is already fully downloaded.
5430
5431 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5432
5433         (recursive_retrieve): Don't clear the hash tables at this point at
5434         all; it interferes with the normal operation of register_download.
5435
5436 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5437
5438         * recur.c (recursive_retrieve): Clear the hash tables only when
5439         they are defined.
5440
5441 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5442
5443         * http.c (gethttp): Make sure the socket is closed with
5444         CLOSE_INVALIDATE before we have drained the body.
5445
5446 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5447
5448         * retr.c (retrieve_url): Call register_download() for downloaded
5449         files and register_html() for downloaded HTML files.
5450
5451         * recur.c (register_download): New function; register here that a
5452         file has been downloaded, rather than in recursive_retrieve().
5453         (register_html): New function; enqueue the location of HTML files
5454         here rather than in recursive_retrieve().
5455
5456 2001-03-31  Hrvoje Niksic  <hniksic@arsdigita.com>
5457
5458         * main.c (print_help): Use multiple fputs instead of a single ugly
5459         printf().
5460         (main): Consistently assign numbers >128 to options without a
5461         corresponding character.
5462
5463 2001-03-09  Philipp Thomas  <pthomas@suse.de>
5464
5465         * safe-ctype.h: New file. Locale independent ctype.h replacement
5466         taken from libiberty.
5467
5468         * safe-ctype.c: New file. Tables for above.
5469
5470         * Makefile.in: Add safe-ctype$o to OBJS.  Add dependencies for
5471         safe-ctype$o.
5472
5473         * cmpt.c: Remove include of ctype.h. Use ISSPACE instead of
5474         isspace.
5475
5476         * ftp-basic.c: Don't include ctype.h.
5477
5478         * ftp-ls.c: Likewise.
5479
5480         * ftp.c: Likewise.
5481
5482         * headers.c: Likewise.
5483
5484         * host.c: Likewise.
5485
5486         * html-parse.c: Likewise.
5487
5488         * html-url.c: Likewise.
5489
5490         * http.c: Likewise.
5491
5492         * init.c: Likewise.
5493
5494         * main.c: Likewise. Set LC_CTYPE along with LC_MESSAGES.
5495
5496         * netrc.c: Likewise.
5497
5498         * recur.c: Likewise.
5499
5500         * retr.c: Likewise.
5501
5502         * snprintf.c: Replace ctype.h with safe-ctype.h. Use ISDIGIT
5503         instead of isdigit.
5504
5505         * sysdep.h: Remove defines of ctype macros as they aren't needed
5506         for safe-ctype-h.
5507
5508         * url.c: Don't include ctype.h.
5509
5510         * utils.c: Likewise.
5511
5512         * wget.h: Include safe-ctype.h.
5513
5514 2001-03-27  Dan Harkless  <wget@harkless.org>
5515
5516         * Makefile.in: Moved top_builddir out of "User configuration
5517         section" of top Makefile and analogous spot in this one.
5518
5519 2001-03-17  Dan Harkless  <wget@harkless.org>
5520
5521         * Makefile.in: Include @SSL_INCLUDES@ substition in INCLUDES.
5522         Define top_builddir.  Link wget with libtool so the user doesn't
5523         have to supply a bunch of custom environment variables to 
5524         correctly link with the OpenSSL shared libraries.
5525
5526 2001-03-06  Hack Kampbjorn  <hack@hackdata.com>
5527
5528         * http.c (gethttp): skip :port in host header if it is the
5529         DEFAULT_HTTPS_PORT when using SSL.
5530
5531         * url.c: move the #define of DEFAULT_HTTP_PORT, DEFAULT_FTP_PORT
5532         and DEFAULT_HTTPS_PORT to the header file so it can be use in the
5533         rest of the code. 
5534         * url.h: Ditto
5535
5536 2001-03-01  Jonas Jensen  <bones@huleboer.dk>
5537
5538         * retr.c (show_progress): Correctly calculate the number of bytes
5539         in the first line of the download that have been actually
5540         downloaded in this run.
5541
5542 2001-02-23  Dan Harkless  <wget@harkless.org>
5543
5544         * main.c (print_help): --help documentation for -N said it would
5545         re-download files if they had the _same_ timestamp on server.
5546         (print_help): -nr belongs in "FTP options" section of --help
5547         output, not "Recursive retrieval" section.  Alphabetized FTP
5548         options by long option name.
5549
5550 2001-02-16  Dan Harkless  <wget@harkless.org>
5551
5552         * init.c (commands): Hack Kampbjørn <hack@hackdata.com> discovered
5553         that "httpsproxy" had been inserted into commands[] out of
5554         alphabetical order, causing "BUG: unknown command `httpuser'".
5555
5556 2001-02-13  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5557
5558         * ftp-ls.c (ftp_parse_ls): Added support of ST_MACOS (Unix-like
5559         listing without correct permissons).
5560
5561         * ftp.h (stype): Added ST_MACOS to identify the NetPresenz MacOS
5562         FTP server. 
5563
5564         * ftp.c (ftp_retrieve_list): New mirroring logic: A remote file
5565         shall be donwloaded only when it's newer than the local copy or
5566         when it has the same timeestamp but its size is different. ST_VMS
5567         and ST_MACOS as special cases that lie about file size. 
5568
5569         * ftp-ls.c (ftp_parse_ls): Support for ST_MACOS.
5570
5571         * Makefile.in: Removed dependency on ftpparse library due to unclear
5572         copyright issues and absence of any feedback to our queries. 
5573
5574         * ftp-ls.c: Removed dependency on ftpparse library due to unclear
5575         copyright issues and absence of any feedback to our queries.   
5576         (ftp_parse_ls): Added a warning message when remote server system
5577         does not seem to be suported by wget. 
5578         (ftp_parse_vms_ls): New function for parsing VMS ftp
5579         server listing output.
5580         (clean_line): New function responsible for removing
5581         end-of-line characters from FTP listing texts.
5582
5583         * ftp.c (getftp): Global variables pwd and host_type are now
5584         member of the ccon structure under names ccon.id and ccon.rs. 
5585
5586         * ftp.h (struct ccon): Added formed global variables from ftp.c,
5587         enum stype rs (remote system identification) and char *id (initial
5588         working directory), as suggested by Hrvoje.
5589
5590         * url.c (parse_uname): Added support for passwords containing '@'
5591         characters.
5592         (skip_uname): Ditto.
5593
5594 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
5595
5596         * ftp.c (ftp_loop): Reset con.
5597
5598 2001-01-06  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5599
5600         * url.c (parse_uname): Added support for passwords containing '@'
5601         characters.
5602         (skip_uname): Ditto.
5603
5604 2001-02-11  Hack Kampbjørn  <hack@hackdata.com>
5605
5606         * url.c (parseurl): Debug-print u->ftp_type.
5607
5608 2001-02-11  Hrvoje Niksic  <hniksic@arsdigita.com>
5609
5610         * ftp.c (ftp_loop_internal): Disable padding.
5611         (getftp): Ditto.
5612
5613         * http.c (http_loop): Disable padding.
5614
5615         * retr.c (show_progress): Use it to enable padding.
5616
5617         * retr.c (rate): Optional parameter PAD for padding the rate.
5618
5619 2001-02-10  Hrvoje Niksic  <hniksic@arsdigita.com>
5620
5621         * retr.c (show_progress): Make sure that the last output line
5622         includes progress.
5623
5624 2001-02-10  Jonas Jensen  <bones@huleboer.dk>
5625
5626         * retr.c (show_progress): Print the download rate along with the
5627         percentages.
5628         Along with Anders Thorsby <anders@thorsby.dk>.
5629
5630 2001-02-10  Tim Mooney  <mooney@dogbert.cc.ndsu.NoDak.edu>
5631
5632         * ftp.h: Rename enums `command' to `wget_ftp_command' and
5633         `fstatus' to `wget_ftp_status' because old names clash with Tru64
5634         net/if.h.
5635
5636 2001-02-08  Christian Fraenkel <christian.fraenkel@gmx.net>
5637
5638         * gen_sslfunc.c: verify_callback is now static
5639
5640         * gen_sslfunc.c (init_ssl): load certificate if specified
5641
5642         * gen_sslfunc.c (ssl_printerr): new function
5643
5644         * init.c: added new --sslcertfile and --sslcertkey switches
5645
5646         * main.c: ditto
5647
5648         * options.h: ditto
5649
5650         * http.c (gethttp): abort when init_ssl fails
5651
5652 2001-01-23  Herold Heiko  <Heiko.Herold@previnet.it>
5653
5654         * mswindows.h: Include <malloc.h>; it's needed for alloca().
5655
5656 2001-01-10  Dan Harkless  <wget@harkless.org>
5657
5658         * url.c (str_url): Clarified this function's comment header after
5659         Hrvoje answered my question on the list as to when hide != 1.
5660         Also Hrvoje pointed out I need to use xstrdup() on the string literal.
5661
5662 2001-01-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5663
5664         * connect.c (bindport): Declare addrlen as int.  Diagnosed by
5665         Drazen Kacar <dave@arsdigita.com>.
5666         (conaddr): Ditto.
5667
5668 2001-01-09  Dan Harkless  <wget@harkless.org>
5669
5670         * html-url.c: A bunch of fixup of `--page-requisites'-related
5671         comments to reflect Hrvoje's changes to my code when transplanting
5672         it into this new file, to fix spelling mistakes, to clarify, etc.
5673
5674         * url.c (write_backup_file): Clarified a comment.
5675         (str_url): Henrik van Ginhoven pointed out on the list that we
5676         shouldn't give away the number of characters in the password by
5677         replacing each character with a 'x'.  Use "<password>" instead.
5678
5679         * ftp.c (ftp_retrieve_dirs): The bug where recursion into FTP
5680         directories didn't work if logging in put you in a directory other
5681         than "/" is fixed now.  Removed the comment here warning of the bug.
5682
5683         * main.c (print_help): --continue's description was misleading.
5684         We don't "restart", we "resume".  Also, better to say
5685         "partially-downloaded file" rather than just "existing file".
5686
5687 2001-01-06  Dan Harkless  <wget@harkless.org>
5688
5689         * ChangeLog: The '[Not in 1.6 branch.]'s were decided not to be
5690         the best way to go about my aim.  Removed them in favor of:
5691
5692         * ChangeLog-branches/1.6_branch.ChangeLog: New file.
5693
5694 2001-01-04  Hrvoje Niksic  <hniksic@arsdigita.com>
5695
5696         * url.c (replace_attr): New function, to be used by both
5697         TO_COMPLETE and TO_RELATIVE case in convert_links.
5698         (find_fragment): New function for finding URL fragments.
5699         (replace_attr): Better handle the case where the original string
5700         is not quoted.  Use find_fragment.
5701         (convert_links): Use replace_attr().
5702
5703 2000-12-31  Dan Harkless  <wget@harkless.org>
5704
5705         * ChangeLog: Since this flat file doesn't have multiple branches,
5706         looking at the dates would make you think that things went into
5707         1.6 that actually just went into the 1.7-dev branch.  Added "[Not
5708         in 1.6 branch.]" where appropriate to clarify.
5709         
5710 2000-12-30  Dan Harkless  <wget@harkless.org>
5711
5712         * ftp.c, http.c:  Applied Hack Kampbjørn <hack@hackdata.com>'s
5713         patch to deal with h_errno not being defined in netdb.h under Cygwin.
5714
5715 2000-12-18  Csaba Raduly  <csaba.raduly@sophos.com>
5716
5717         * sysdep.h: Include <malloc.h> and <io.h> under Watcom.
5718
5719 2000-12-17  Igor Khristophorov  <igor@atdot.org>
5720
5721         * http.c (check_end): Fix test for '+' or '-'.
5722
5723 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
5724
5725         * url.c (parseurl): Rename inner loop var from i to ind to avoid
5726         clash with the function top-level-declared variable i.
5727         (str_url): Likewise, rename inner-loop i to j.
5728
5729         * recur.c (parse_robots): Don't declare LEN at top of function.
5730         (robots_match): Renamed parameter FORBIDDEN to avoid hiding of
5731         global variable.
5732
5733         * main.c (main): Change erroneous use of bitwise and to logical.
5734
5735         * init.c (cmd_address): Don't heap-allocate `sin'; it can be on
5736         the stack because it will be copied to closure.
5737
5738         Thanks to Csaba Raduly's run of PC-LINT over the sources.
5739
5740 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
5741
5742         * http.c (basic_authentication_encode): Use xmalloc(), not
5743         malloc().  Thanks to Csaba Raduly's run of PC-LINT over the
5744         sources.
5745
5746 2000-12-17  Csaba Raduly  <csaba.raduly@sophos.com>
5747
5748         * sysdep.h: Test for __EMX__ rather than for EMXOS2 for OS/2
5749         compilation.
5750
5751 2000-12-17  Hrvoje Niksic  <hniksic@arsdigita.com>
5752
5753         * mswindows.c: Include <errno.h>.
5754
5755         * gen_sslfunc.c: Include <errno.h>.
5756
5757         * ftp-basic.c: Don't attempt to declare errno or h_errno because
5758         they're not used.
5759
5760         * main.c: Include <errno.h> because errno is used.
5761
5762         * ftp.c: Ditto.
5763
5764         * http.c: Include <netdb.h> for h_errno.
5765
5766 2000-12-13  Hrvoje Niksic  <hniksic@arsdigita.com>
5767
5768         * html-parse.c (advance_declaration): MSVC assert() chokes on
5769         '\"'.  Use '"' instead.
5770
5771 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
5772
5773         * utils.c (xfree_real): Removed.
5774         (xfree_debug): Just call free().
5775
5776         * wget.h (xfree): Make it an alias for free.
5777
5778 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
5779
5780         * http.c (http_loop): Furthermore, touch output_document only if
5781         it is known to be an existing regular file.
5782
5783 2000-12-11  Hrvoje Niksic  <hniksic@arsdigita.com>
5784
5785         * ftp.c (ftp_retrieve_list): Ditto.
5786
5787         * http.c (http_loop): Touch output_document if that is used for
5788         output.
5789
5790 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5791
5792         * http.c: Include gen_sslfunc.h after including Wget's headers.
5793         (persistent_available_p): Needed coma before `int ssl'.
5794
5795 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5796
5797         * ftp.c (ftp_loop_internal): Ditto.
5798
5799         * http.c (http_loop): Use it.
5800
5801         * retr.c (sleep_between_retrievals): New function that handles the
5802         logic of opt.wait and opt.waitretry.
5803
5804 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5805
5806         * rbuf.h: Implement only a single version of RBUF_READCHAR, using
5807         rbuf_read_bufferful when the buffer is depleted.
5808
5809         * rbuf.c (rbuf_read_bufferful): New function.
5810
5811 2000-12-06  Hrvoje Niksic  <hniksic@arsdigita.com>
5812
5813         * gen_sslfunc.h: Use ansi2knr style function declarations.
5814
5815         * gen_sslfunc.c: Reformat according to the GNU coding standards.
5816         More should be done.
5817
5818         * http.c (persistent_available_p): Place the cheap SSL test nearer
5819         the top of the function.
5820         (CLOSE_FINISH, CLOSE_INVALIDATE): Define only one version of each.
5821
5822 2000-12-05  Hrvoje Niksic  <hniksic@arsdigita.com>
5823
5824         * url.c (init_unsafe_char_table): Reinstate space as an unsafe
5825         char.
5826
5827 2000-12-03  Christian Fraenkel <christian.fraenkel@gmx.net>
5828
5829         * Makefile.in: added gen_sslfunc object
5830         * config.h.in: added HAVE_SSL define
5831         * connect.c: changed select_fd from static int to int
5832         * connect.h: ditto
5833         * gen_sslfunc.h: New file
5834         * gen_sslfunc.c: ditto
5835         * http.c: added HTTPS fuctionality
5836         * retrc.c: ditto
5837         * url.c: ditto
5838         * init.c: added opt.httpsproxy
5839         * options.h: ditto
5840         * rbuf.h: added alternate rbuf struct
5841         * wget.h: added CONSSLERR
5842         * rbuf.c: ditto
5843
5844         * http.c: Added HTTPS fuctionality.
5845
5846         * retrc.c: Ditto.
5847
5848         * url.c: Ditto.
5849
5850         * init.c: Added opt.httpsproxy.
5851
5852         * options.h: Ditto.
5853
5854         * rbuf.h: Added alternate rbuf struct.
5855
5856         * wget.h: Added CONSSLERR.
5857
5858         * rbuf.c: Ditto.
5859
5860 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5861
5862         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
5863         "ignore_perms" to ignore file and directory permissions for
5864         Windows NT FTP server listings.
5865         (ftp_parse_winnt_ls): New function.
5866         (ftp_parse_ls): Parses UNIX and Windows NT listings
5867         separately. Simple heuristics for distinguishing between UNIX and
5868         MS-DOS-like FTP listing provided by Windows NT FTP service.
5869
5870 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5871
5872         * ftpparse.c, ftpparse.h: New files.
5873
5874         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
5875         only. Use ftp_parse_nonunix_ls otherwise.
5876         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
5877         exotic FTP servers.
5878
5879         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
5880         FTP servers.
5881
5882         * ftp.c: New static wariables host_type, pwd, and pwd_len. 
5883         (getftp): Support for VMS. Support for FTP servers that do not
5884         place you in the root directory after login.
5885         (ftp_retrieve_list): VMS is silent about the real file size, issue
5886         a more appropriate message.
5887         (ftp_get_listing): Pass host_type to ftp_parse_ls.
5888
5889         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
5890
5891 2000-11-30  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5892
5893         * ftp-ls.c (ftp_parse_unix_ls): Added second parameter
5894         "ignore_perms" to ignore file and directory permissions for
5895         Windows NT FTP server listings.
5896         (ftp_parse_winnt_ls): New function.
5897         (ftp_parse_ls): Parses UNIX and Windows NT listings
5898         separately. Simple heuristics for distinguishing between UNIX
5899         and MS-DOS-like FTP listing provided by Windows NT FTP service.
5900
5901 2000-11-29  John Summerfield  <summer@OS2.ami.com.au>
5902
5903         * netrc.c (parse_netrc): Get rid of line ending.
5904
5905 2000-11-25  Hrvoje Niksic  <hniksic@arsdigita.com>
5906
5907         * ftp.c (ftp_retrieve_list): Undo typo "fix" until resolution by
5908         Dan.
5909
5910 2000-11-24  Karl Eichwalder  <ke@suse.de>
5911
5912         * main.c (print_help): Untabify.
5913
5914 2000-11-23  Hrvoje Niksic  <hniksic@arsdigita.com>
5915
5916         * utils.c (xrealloc_debug): Do the unregister/register thing only
5917         if the pointer has actually changed.
5918         (xmalloc_real): Declare `static' in DEBUG_MALLOC builds.
5919         (xfree_real): Ditto.
5920         (xrealloc_real): Ditto.
5921         (xstrdup_real): Ditto.
5922
5923 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
5924
5925         * ftp.c (getftp): ftp_getaddress() returns a malloc'ed copy of the
5926         string; no need to strdup() it.
5927         (getftp): Make pwd_len a local variable.
5928         (ftp_loop): Free PWD before returning.
5929
5930         * init.c (cleanup): Free opt.ftp_pass only if it's non-NULL.
5931
5932 2000-11-22  Hrvoje Niksic  <hniksic@arsdigita.com>
5933
5934         * all: Use xfree() instead of free.
5935
5936         * utils.c (xfree): New function.
5937
5938 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5939
5940         * url.c (convert_links): HTML-quote the converted string.
5941
5942         * utils.c (html_quote_string): Move here from ftp-ls.c
5943         (html_quote_string): Make non-static; declare in utils.h.
5944         (html_quote_string): Convert SP to &#32;.
5945
5946 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5947
5948         * ftp.c (getftp): Reformat Jan's code according to GNU coding
5949         standards; remove (debugging?) printf's; use '\0' for the ASCII
5950         zero character.  Use alloca() instead of malloc() for
5951         inter-function temporary allocations.
5952
5953 2000-11-18  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
5954
5955         * ftpparse.c, ftpparse.h: New files.
5956
5957         * ftp-ls.c (ftp_parse_ls): Use ftp_parse_unix_ls for UNIX servers
5958         only. Use ftp_parse_nonunix_ls otherwise.
5959         (ftp_parse_nonunix_ls): Stub to the ftpparse library handling all
5960         exotic FTP servers.
5961
5962         * ftp.h (stype): New enum, distinguishes UNIX, VMS, and "other"
5963         FTP servers.
5964
5965         * ftp.c: New static wariables host_type, pwd, and pwd_len. 
5966         (getftp): Support for VMS. Support for FTP servers that do not
5967         place you in the root directory after login.
5968         (ftp_retrieve_list): VMS is silent about the real file size, issue
5969         a more appropriate message.
5970         (ftp_get_listing): Pass host_type to ftp_parse_ls.
5971
5972         * ftp-basic.c (ftp_pwd, ftp_syst): New functions.
5973
5974 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5975
5976         * hash.c (hash_table_put): Don't overwrite deleted mappings.
5977
5978 2000-11-21  Hrvoje Niksic  <hniksic@arsdigita.com>
5979
5980         * hash.c (find_mapping): New function.
5981         (hash_table_get): Use it.
5982         (hash_table_get_pair): Ditto.
5983         (hash_table_exists): Ditto.
5984         (hash_table_remove): Ditto.
5985         (hash_table_remove): Really delete the entry if the mapping
5986         following LOCATION is empty.
5987
5988         * utils.c (string_set_add): Check whether the element has existed
5989         before.
5990
5991         * hash.c (hash_table_get_pair): New function.
5992
5993 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
5994
5995         * http.c (http_process_type): Ignore trailing whitespace; use
5996         strdupdelim().
5997
5998         * recur.c (recursive_retrieve): Use the new `convert' field.
5999         (convert_all_links): Ditto.
6000         (convert_all_links): Don't respect meta_disallow_follow.
6001
6002         * html-url.c (handle_link): Fill out link_relative_p and
6003         link_complete_p.
6004
6005         * url.h (struct _urlpos): Make elements more readable.
6006
6007         * recur.c (recursive_retrieve): Call slist_prepend instead of
6008         slist_append.
6009         (convert_all_links): Call slist_nreverse before iterating through
6010         urls_html.
6011
6012         * utils.c (slist_prepend): New function.
6013         (slist_nreverse): Ditto.
6014
6015 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6016
6017         * http.c (check_end): Constify.
6018
6019 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6020
6021         * http.c (http_loop): If username and password are known, try the
6022         `Basic' authentication scheme by default.
6023
6024         * connect.h: Declare test_socket_open.
6025
6026 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6027
6028         * version.c: Bump version from 1.5.3+dev to 1.7-dev.
6029
6030 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6031
6032         * http.c (gethttp): Don't use the return value of sprintf().
6033         (gethttp): Inhibit keep-alive if opt.http_keep_alive is 0.
6034
6035 2000-11-20  Hrvoje Niksic  <hniksic@arsdigita.com>
6036
6037         * recur.c (recursive_retrieve): Print the "so we don't load"
6038         debugging message only if we really don't load.
6039
6040         * http.c (gethttp): Inhibit keep-alive if proxy is being used.
6041         (gethttp): Don't request keep-alive if keep-alive is inhibited.
6042
6043 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
6044
6045         * http.c (gethttp): Make the HTTP persistent connections more
6046         robust.
6047
6048 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
6049
6050         * retr.c (get_contents): If use_expected, make sure that the
6051         appropriate amount of data is being read.
6052
6053         * http.c (gethttp): Check for both `Keep-Alive: ...' and
6054         `Connection: Keep-Alive'.
6055
6056         * wget.h (DEBUGP): Call debug_logprintf only if opt.debug is
6057         turned on.
6058
6059 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
6060
6061         * http.c (connection_available_p): Use it.
6062
6063         * connect.c (test_socket_open): New function.
6064
6065         * http.c (gethttp): Support persistent connections.  Based on the
6066         ideas, and partly on code, by Sam Horrocks <sam@daemoninc.com>.
6067         (register_persistent): New function.
6068         (connection_available_p): Ditto.
6069         (invalidate_connection): Ditto.
6070
6071 2000-11-19  Hrvoje Niksic  <hniksic@arsdigita.com>
6072
6073         * url.c (convert_links): Handle UREL2ABS case.
6074
6075         * recur.c (recursive_retrieve): Instead of the list
6076         urls_downloaded, use hash tables dl_file_url_map and
6077         dl_url_file_map.
6078         (convert_all_links): Use them to retrieve data.
6079
6080         * host.c (clean_hosts): Free the hash tables.
6081
6082         * main.c (private_initialize): Call host_init().
6083
6084         * host.c (store_hostaddress): Use a saner, hash table-based data
6085         model.
6086         (realhost): Ditto.
6087         (host_init): Initialize the hash tables.
6088
6089 2000-11-18  Hrvoje Niksic  <hniksic@arsdigita.com>
6090
6091         * utils.c (slist_append): Eviscerate NOSORT.  Hash tables are now
6092         used for what the sorted slists used to be used for.
6093         (slist_contains): Don't rely on the list being sorted.
6094         (slist_append): Simplify the code.
6095
6096         * recur.c (recursive_cleanup): Use free_string_set.
6097
6098         * utils.c (string_set_add, string_set_exists, string_set_free):
6099         New functions for easier freeing of hash tables whose keys are
6100         strdup'ed strings.
6101
6102         * recur.c (recursive_retrieve): Use the hash table functions for
6103         storing undesirable URLs.
6104
6105         * hash.c: New file.
6106
6107 2000-11-17  Hrvoje Niksic  <hniksic@arsdigita.com>
6108
6109         * main.c (private_initialize): Call url_init.
6110         (main): Call private_initialize.
6111
6112         * url.c (unsafe_char_table): New table.
6113         (UNSAFE_CHAR): Use it.
6114         (init_unsafe_char_table): New function.
6115         (url_init): New function; call init_unsafe_char_table.
6116
6117 2000-11-16  Hrvoje Niksic  <hniksic@arsdigita.com>
6118
6119         * mswindows.h: Define snprintf and vsnprintf to _snprintf and
6120         _vsnprintf respectively.
6121
6122 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
6123
6124         * config.h.in: Do the _XOPEN_SOURCE and _SVID_SOURCE things only
6125         on Linux.
6126
6127 2000-11-15  Hrvoje Niksic  <hniksic@arsdigita.com>
6128
6129         * html-url.c (handle_link): Handle HTML fragment identifiers.
6130
6131         * recur.c (recursive_retrieve): If norobot info is respected and
6132         the file is specified not to be followed by robots, respect that.
6133
6134         * html-url.c (collect_tags_mapper): Handle <meta name=robots
6135         content=X>.  For us the important cases are where X is NONE or
6136         where X contains NOFOLLOW.
6137         (get_urls_html): Propagate that information to the caller.
6138
6139 2000-11-13  Hrvoje Niksic  <hniksic@arsdigita.com>
6140
6141         * url.c (convert_links): Unlink the file we might be reading from
6142         before writing to it.
6143         (convert_links): Use alloca instead of malloc for
6144         filename_plus_orig_suffix.
6145
6146 2000-11-12  Hrvoje Niksic  <hniksic@arsdigita.com>
6147
6148         * host.c (realhost): Add HOST to the list with quality==0 only if
6149         it wasn't already there.
6150         Based on analysis by Lu Guohan <feng@public.bjnet.edu.cn>.
6151
6152 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6153
6154         * url.c (get_urls_file): Ditto.
6155         (convert_links): Ditto.
6156
6157         * html-url.c (get_urls_html): Use read_file() instead of
6158         load_file().
6159
6160         * utils.c (read_file): New function, instead of the old
6161         load_file().
6162         (read_file_free): Ditto.
6163
6164         * url.c (findurl): Search only for the supported protocols.
6165         (convert_links): Use fwrite() when writing out a region of
6166         characters.
6167
6168 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6169
6170         * ftp-ls.c: Move html_quote_string and ftp_index here.
6171
6172         * url.c: Remove get_urls_html, since that's now in html-url.c.
6173
6174         * html-url.c: New file.
6175
6176         * html-parse.c: New file.
6177
6178 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6179
6180         * init.c (run_wgetrc): Don't bother killing off '\r' since
6181         pars_line() skips whitespace at end of line anyway.
6182         (parse_line): Oops, it didn't.  Now it does.
6183
6184         * recur.c (parse_robots): Ditto here.
6185
6186         * ftp-ls.c (ftp_parse_unix_ls): Kill off the newline character
6187         manually because read_whole_line no longer does.
6188
6189         * utils.c (read_whole_line): Rewrite to: a) use less memory
6190         (reallocates to needed size after work), b) work faster -->
6191         fgets() instead of getc, c) be more correct --> doesn't kill the
6192         newline character at the end of line.
6193
6194 2000-11-10  Hrvoje Niksic  <hniksic@arsdigita.com>
6195
6196         * init.c (comind): Initialize MAX to array size - 1.
6197
6198 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
6199
6200         * url.c (construct): Changed last_slash[-1] to *(last_slash - 1).
6201         Suggested by Edward J. Sabol.
6202
6203 2000-11-08  Hrvoje Niksic  <hniksic@arsdigita.com>
6204
6205         * url.c (construct): Handle the case where host name is not
6206         followed by a slash.
6207
6208 2000-11-06  Hrvoje Niksic  <hniksic@arsdigita.com>
6209
6210         * init.c: commands[] need to be sorted!  ("base" wasn't.)
6211
6212 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
6213
6214         * wget.h (DO_REALLOC_FROM_ALLOCA): Use braces to disambiguate
6215         `if'.
6216
6217 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
6218
6219         * url.c (construct): Insert unneeded initialization for the
6220         compiler to shut up.
6221
6222         * config.h.in: Define _XOPEN_SOURCE to 500 to get the prototype
6223         for strptime() (*duh*).  Define _SVID_SOURCE to get S_IFLNK which
6224         otherwise gets lost when you define _XOPEN_SOURCE.
6225
6226         * utils.c (touch): Include the file name in the error message.
6227         From Debian.
6228
6229 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
6230
6231         * log.c (logvprintf): Use vsnprintf() in all cases.  If necessary,
6232         resize the buffer to fit the formated message.  That way, messages
6233         of arbitrary size may be printed.
6234         (logvprintf): Use saved_append() to optionally log the last
6235         several lines of output.
6236         (logputs): Ditto.
6237         (log_close): Adapt to new data structures.
6238         (log_dump): Ditto.
6239         (redirect_output): Print messages to stderr, not to stdout.
6240
6241         * log.c (saved_append_1): New function.  Replaces the old logging
6242         system ("log all output until 10M characters") with a new, much
6243         more reasonable one ("log last screenful of text").
6244         (saved_append): New function; call saved_append_1.
6245         (free_log_line): New function.
6246
6247 2000-11-05  Hrvoje Niksic  <hniksic@arsdigita.com>
6248
6249         * url.c (construct): Fix comment.
6250         (find_last_char): Document.
6251
6252 2000-11-04  Hrvoje Niksic  <hniksic@arsdigita.com>
6253
6254         * snprintf.c: New file.
6255
6256 2000-11-03  Hrvoje Niksic  <hniksic@arsdigita.com>
6257
6258         * wget.h: If HAVE_STDARG_H is not defined, don't declare argument
6259         types to logprintf() and debug_logprintf().
6260
6261 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
6262
6263         * ftp.c (ftp_loop_internal): Hide the password from the URL when
6264         printing non-verbose.  Problem spotted by Dariusz Mlynarczyk
6265         <darekm@bydg.lomac.com.pl>.
6266
6267 2000-11-02  Junio Hamano  <junio@twinsun.com>
6268
6269         * ftp-basic.c (ftp_login): Make comparison case-insensitive.
6270
6271 2000-11-02  Tyler Riddle  <triddle@liquidmarket.com>
6272
6273         * http.c (known_authentication_scheme_p): Recognize NTML
6274         authentication.
6275         (create_authorization_line): Treat NTML the same as `Basic'.
6276
6277 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
6278
6279         * retr.c (retrieve_url): Free url before returning.
6280         (retrieve_url): Free mynewloc before returning.
6281         Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
6282
6283 2000-11-02  Hrvoje Niksic  <hniksic@arsdigita.com>
6284
6285         * url.c (parseurl): Remove possible reading past the end of
6286         sup_protos[].  Spotted by Mark A. Mankins <Mankins_Mark@prc.com>.
6287
6288 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6289
6290         * main.c (main): In case of opt.downloaded overflowing, print
6291         <overflow> instead of a totally bogus random value.
6292
6293         * retr.c (retrieve_from_file): Ditto.
6294
6295         * recur.c (recursive_retrieve): Ditto.
6296
6297         * main.c (main): Ditto.
6298
6299         * http.c (http_loop): Ditto.
6300
6301         * ftp.c (ftp_loop_internal): Use downloaded_increase() instead of
6302         `+=', and downloaded_exceeds_quota() instead of the simple-minded
6303         check.
6304         (ftp_retrieve_list): Ditto.
6305         (ftp_retrieve_dirs): Ditto.
6306         (ftp_retrieve_glob): Ditto.
6307
6308         * retr.c (downloaded_increase): New function.  Notice overflows of
6309         opt.downloaded.
6310         (downloaded_exceeds_quota): Make sure that opt.downloaded is not
6311         used if it overflowed.
6312
6313         * options.h (struct options): New member downloaded_overflow.
6314
6315 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6316
6317         * wget.h (enum): Remove extra space after last enumeration.
6318
6319 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6320
6321         * main.c (main): Use legible_very_long() for printing
6322         opt.downloaded.
6323
6324         * utils.c (legible_1): New function that operates on strings and
6325         does the brunt of legible()'s work.
6326         (legible): Use legible_1().
6327         (legible_very_long): New function; dump the argument with
6328         sprintf(), and call legible_1().
6329
6330         * options.h (struct options): Use VERY_LONG_TYPE for
6331         opt.downloaded.
6332
6333         * sysdep.h (VERY_LONG_TYPE): Define it to have a 64-bit or greater
6334         type.
6335
6336         * config.h.in: Make sure that SIZEOF_LONG and SIZEOF_LONG_LONG get
6337         defined.  Define HAVE_LONG_LONG if long long is available.
6338
6339 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6340
6341         * utils.c (long_to_string): Update with a later, better version.
6342
6343 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6344
6345         * url.c (path_simplify_with_kludge): New function.
6346         (path_simplify_with_kludge): Disable it.  Instead...
6347         (parse_dir): ...make sure that at this point the right thing is
6348         done, i.e. that "query" part of the URL (?...) is always assigned
6349         to the file, never to the directory portion of the path.
6350
6351 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6352
6353         * retr.c (retrieve_url): Detect redirection cycles.
6354
6355 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6356
6357         * url.c (get_urls_html): Decode HTML entities using
6358         html_decode_entities.
6359
6360         * html.c (htmlfindurl): Don't count the `#' in numeric entities
6361         (&#NNN;) as an HTML fragemnt.
6362         (html_decode_entities): New function.
6363
6364 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6365
6366         * html.c (htmlfindurl): Fix recognition of # HTML fragments.
6367
6368 2000-11-01  Hrvoje Niksic  <hniksic@arsdigita.com>
6369
6370         * url.c (construct): Rewritten for clarity.  Avoids the
6371         unnecessary copying and stack-allocation the old version
6372         performed.
6373
6374 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
6375
6376         * ftp.c (getftp): Ditto.
6377
6378         * http.c (gethttp): Rewind the stream when retrying from scratch.
6379
6380 2000-10-31  Hrvoje Niksic  <hniksic@arsdigita.com>
6381
6382         * retr.c (retrieve_url): Use url_concat() to handle relative
6383         redirections instead of /ad hoc/ code.
6384
6385         * url.c (url_concat): New function encapsulating weird
6386         construct().
6387         (urllen_http_hack): New function.
6388         (construct): When constructing new URLs, recognize that `?' does
6389         not form part of the file name in HTTP.
6390
6391 2000-10-13  Adrian Aichner  <adrian@xemacs.org>
6392
6393         * retr.c: Add msec timing support for WINDOWS.
6394         * retr.c (reset_timer): GetSystemTime() on WINDOWS.
6395         * retr.c (elapsed_time): Calculate delta time to msec on WINDOWS.
6396
6397 2000-10-27  Dan Harkless  <wget@harkless.org>
6398
6399         * retr.c (retrieve_url): Manually applied T. Bharath
6400         <TBharath@responsenetworks.com>'s patch to get wget to grok
6401         illegal relative URL redirects.  Reformatted and re-commented it.
6402
6403 2000-10-23  Dan Harkless  <wget@harkless.org>
6404
6405         * connect.c (make_connection and bindport): Manually applied Rob
6406         Mayoff <mayoff@dqd.com>'s 1.5.3 patch to add --bind-address,
6407         changing coding style to GNU's.
6408
6409         * ftp.c (ftp_loop_internal): --delete-after wasn't implemented for
6410         files downloaded via FTP.  Per a comment, .listing files were not
6411         counted towards number of bytes and files downloaded because they're 
6412         deleted anyway.  Well, they aren't under -nr, so count them then.
6413
6414         * init.c: Manually applied Rob Mayoff's 1.5.3 patch to add
6415         --bind-address, alphabetizing, changing coding style to GNU's,
6416         commenting, and renaming cmd_ip_address() to cmd_address() to
6417         imply hostnames also okay.
6418                 
6419         * main.c (main): --delete-after didn't delete the root of the
6420         tree.  Ignore --convert-links if --delete-after was specified.
6421         Manually applied Rob Mayoff's 1.5.3 patch to add --bind-address,
6422         fixing duplicate use of added-since-1.5.3 case value.
6423         (print_help): Clarified that --delete-after deletes local files.
6424         Rob forgot to add a line for his new --bind-address option.
6425                 
6426         * options.h (struct options): Manually applied Rob Mayoff's patch
6427         to add --bind-address (bind_address structure member).
6428                 
6429         * recur.c (recursive_retrieve): Improved comment; added DEBUGP().
6430         Ignore --convert-links if --delete-after was specified.
6431                 
6432         * retr.c (retrieve_from_file): Just added a DEBUGP().
6433                 
6434 2000-10-19  Dan Harkless  <wget@harkless.org>
6435
6436         * ftp.c (ftp_loop_internal): downloaded_file() enumerators changed.
6437         (getftp): Applied Piotr Sulecki <Piotr.Sulecki@ios.krakow.pl>'s
6438         patch to work around FTP servers that incorrectly respond to the
6439         "REST" command with the remaining size rather than the total file size.
6440                 
6441         * http.c (gethttp): Improved a comment and added code to tack on
6442         ".html" to text/html files without that extension when -E specified.
6443         (http_loop): Use new downloaded_file() enumerators and deal with
6444         the case of gethttp() called xrealloc() on u->local.
6445
6446         * init.c (commands): Added new "htmlextension" command.
6447         Also renamed John Daily's cmd_quad() to the more descriptive
6448         cmd_lockable_boolean(), alpha-sorted the CMD_DECLARE()s and
6449         removed duplicate cmd_boolean() declaration.
6450
6451         * main.c (print_help): Added my new -E / --html-extension option.
6452         (main): Undocumented --email-address option previously used -E synonym.
6453         Stole it away for the much more deserving --html-extension's use.
6454
6455         * options.h (struct options): Added html_extension field.
6456
6457         * url.c (convert_links): URL X that we saved as X.html locally due
6458         to -E needs to be backed up as X.orig, not X.html.orig.  Added comments.
6459         (downloaded_file): Now remembers if we added .html extension to a file.
6460
6461         * url.h (downloaded_file_t): Added extra enumerators to support above.
6462         (downloaded_file): Now takes and returns a downloaded_file_t.
6463
6464         * wget.h (unnamed "dt" enum): Added ADDED_HTML_EXTENSION enumerator.
6465         
6466 2000-10-09  Dan Harkless  <wget@harkless.org>
6467
6468         * html.c (htmlfindurl): Added unneeded initialization to quiet warning.
6469                 
6470         * main.c (print_help): Clarified what --retr-symlinks does.
6471         
6472 2000-09-15  John Daily  <jdaily@cyberdude.com>
6473
6474         * init.c: Add support for "always" and "never" values to allow
6475         .wgetrc to override commandline (useful e.g. with .pm files
6476         calling `wget --passive-ftp' when your firewall doesn't allow that).
6477
6478         * ftp.c (getftp): passive_ftp is first option to support always/never.
6479
6480 2000-08-30  Dan Harkless  <wget@harkless.org>
6481
6482         * ftp.c (ftp_retrieve_list): Use new INFINITE_RECURSION #define.
6483         
6484         * html.c: htmlfindurl() now takes final `dash_p_leaf_HTML' parameter.
6485         Wrapped some > 80-column lines.  When -p is specified and we're at a 
6486         leaf node, do not traverse <A>, <AREA>, or <LINK> tags other than 
6487         <LINK REL="stylesheet">.
6488         
6489         * html.h (htmlfindurl): Now takes final `dash_p_leaf_HTML' parameter.
6490         
6491         * init.c: Added new -p / --page-requisites / page_requisites option.
6492
6493         * main.c (print_help): Clarified that -l inf and -l 0 both allow
6494         infinite recursion.  Changed the unhelpful --mirrior description
6495         to simply give the options it's equivalent to.  Added new -p option.
6496         (main): Added some comments; handle new -p / --page-requisites.
6497         
6498         * options.h (struct options): Added new page_requisites field.
6499
6500         * recur.c: Changed "URL-s" to "URLs" and "HTML-s" to "HTMLs".
6501         Calculate and pass down new `dash_p_leaf_HTML' parameter to
6502         get_urls_html().  Use new INFINITE_RECURSION #define.
6503
6504         * retr.c: Changed "URL-s" to "URLs".  get_urls_html() now takes
6505         final `dash_p_leaf_HTML' parameter.
6506
6507         * url.c: get_urls_html() and htmlfindurl() now take final
6508         `dash_p_leaf_HTML' parameter.
6509
6510         * url.h (get_urls_html): Now takes final `dash_p_leaf_HTML' parameter.
6511
6512         * wget.h: Added some comments and new INFINITE_RECURSION #define.
6513         
6514 2000-08-23  Dan Harkless  <wget@harkless.org>
6515
6516         * main.c (print_help): -B / --base was not mentioned.
6517
6518 2000-08-22  Dan Harkless  <wget@harkless.org>
6519
6520         * main.c (print_help): Modified -nc description to mention that it
6521         also prevents the creation of multiple versions of the same file
6522         with ".<number>" suffixes.
6523
6524 2000-07-14  Jan Prikryl  <prikryl@cg.tuwien.ac.at>
6525
6526         * retr.c (retrieve_url): Consistently strdup opt.referer when
6527         setting u->referer.
6528
6529 2000-06-09  Dan Harkless  <wget@harkless.org>
6530
6531         * main.c (print_help): --help output for --waitretry was over 80 cols.
6532
6533 2000-06-09  Hrvoje Niksic  <hniksic@iskon.hr>
6534
6535         * url.c (encode_string): Fix comment.
6536         Suggested by Herold Heiko <Heiko.Herold@previnet.it>.
6537
6538 2000-06-01  Const Kaplinsky  <const@ce.cctpu.edu.ru>
6539
6540         * ftp.c (ftp_retrieve_list): Change permissions only on plain
6541         files.
6542
6543 2000-06-01  Hrvoje Niksic  <hniksic@iskon.hr>
6544
6545         * url.c (str_url): Print the port number only if it's different
6546         from the default port number for that protocol.
6547
6548 2000-05-22  Dan Harkless  <wget@harkless.org>
6549
6550         * main.c (print_help): Added --help line for Damir Dzeko
6551         <ddzeko@zesoi.fer.hr>'s until-now-undocumented --referer option.
6552         Removed comments that --referer and --waitretry were undocumented.
6553         Changed "`.wgetrc' command" to "`.wgetrc'-style command" on --help
6554         line for --execute.
6555
6556 2000-05-18  Hrvoje Niksic  <hniksic@iskon.hr>
6557
6558         * ftp.c (getftp): Ditto.
6559
6560         * http.c (gethttp): Check for return value of fclose/fflush.
6561
6562 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
6563
6564         * host.c (store_hostaddress): Instead of shifting ADDR, start
6565         copying from the correct address.
6566
6567 2000-04-12  Hrvoje Niksic  <hniksic@iskon.hr>
6568
6569         * http.c (gethttp): Don't free REQUEST -- it was allocated with
6570         alloca().
6571         Pointed out by Gisle Vanem <gvanem@eunet.no>.
6572
6573 2000-04-04  Dan Harkless  <wget@harkless.org>
6574
6575         * host.c (store_hostaddress): R. K. Owen's patch introduces a
6576         "left shift count >= width of type" warning on 32-bit
6577         architectures.  Got rid of it by tricking the compiler w/ a variable.
6578         
6579         * url.c (UNSAFE_CHAR): The macro didn't include all the illegal
6580         characters per RFC1738, namely everything above '~'.  It also
6581         generated a warning on OSes where char =~ unsigned char.  Fixed.
6582         
6583 1998-10-17  Hrvoje Niksic  <hniksic@srce.hr>
6584
6585         * http.c (http_process_type): Removed needless strdup(), a memory
6586         leak.
6587
6588 1998-09-25  Hrvoje Niksic  <hniksic@srce.hr>
6589
6590         * html.c (htmlfindurl): Set PH to the first occurrence of `#'.
6591
6592 1998-09-25  Simon Munton  <simonm@m4data.co.uk>
6593
6594         * init.c (wgetrc_file_name): Don't free HOME under Windows.
6595
6596 1998-12-01  "R. K. Owen"  <rkowen@Nersc.GOV>
6597
6598         * host.c (store_hostaddress): Fix for big endian 64-bit machines.
6599
6600 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
6601
6602         * url.c (UNSAFE_CHAR): New macro.
6603         (contains_unsafe): Use it.
6604         (encode_string): Ditto.
6605
6606 1998-12-01  Hrvoje Niksic  <hniksic@srce.hr>
6607
6608         * main.c (i18n_initialize): Use LC_MESSAGES only if available.
6609
6610 2000-03-31  Hrvoje Niksic  <hniksic@srce.hr>
6611
6612         * Use TOUPPER/TOLOWER.
6613
6614 1998-12-22  Alexander V. Lukyanov  <lav@yars.free.net>
6615
6616         * ftp-opie.c (btoe): Zero-terminate OSTORE.
6617
6618 2000-03-21  Hrvoje Niksic  <hniksic@iskon.hr>
6619
6620         * wget.h (DO_REALLOC_FROM_ALLOCA): Ditto.
6621
6622         * sysdep.h (ISALNUM): New macro.
6623         (TOLOWER): Ditto.
6624         (TOUPPER): Ditto.
6625
6626 2000-03-10  Dan Harkless  <wget@harkless.org>
6627
6628         * html.c (idmatch): Implemented checking of my new --follow-tags
6629         and --ignore-tags options.
6630         
6631         * init.c (commands): Added comment reminding people adding new
6632         entries doing allocation to add corresponding freeing in cleanup().
6633         (commands): Added new followtags and ignoretags commands.
6634         (cleanup): Free storage for new followtags and ignoretags.
6635         
6636         * main.c: Use of "comma-separated list" was random -- normalized
6637         it.  Did some alphabetization.  Added comments pointing out
6638         "Options without arguments" and "Options accepting an argument"
6639         sections of long_options[].  Added new options --follow-tags and
6640         -G / --ignore-tags.  Added comment that Damir's --referer is
6641         currently undocumented.  Added comment that Heiko's --waitretry is
6642         partially undocumented (mentioned in --help but not in
6643         wget.texi).  Moved improperly sorted 24, 129, and 'G' cases.
6644         
6645         * options.h (struct options): Added new fields follow_tags and
6646         ignore_tags. 
6647         
6648         * wget.h: Added "#define EQ 0" so we can say "strcmp(a, b) == EQ".
6649         
6650 2000-03-02  Dan Harkless  <wget@harkless.org>
6651
6652         * ftp.c (ftp_loop_internal): Heiko introduced "suggest explicit
6653         braces to avoid ambiguous `else'" warnings.  Eliminated them.
6654         
6655         * http.c (gethttp): Dan Berger's query string patch is totally
6656         bogus.  If you have two different URLs, gen_page.cgi?page1 and
6657         get_page.cgi?page2, they'll both be saved as get_page.cgi and the
6658         second will overwrite the first.  Also, parameters to implicit
6659         CGIs, like "http://www.host.com/db/?2000-03-02" cause the URLs to
6660         be printed with trailing garbage characters, and could seg fault.
6661         Backing out the patch, which Dan B. informed me by email was just
6662         a kludge to download StarOffice from Sun made necessary due to
6663         wget's unconditional escaping of certain characters (room for an
6664         option there?).
6665         (http_loop): Heiko introduced "suggest explicit braces to avoid
6666         ambiguous `else'" warnings.  Eliminated them.
6667         
6668         * main.c: Heiko's --wait / --waitretry backwards compatibility
6669         code looks to have been totally untested -- automatic variable
6670         'wr' was used without being initialized, and a long int was passed
6671         into setval()'s char* val parameter.
6672         
6673         * recur.c (parse_robots): Applied Edward J. Sabol
6674         <sabol@alderaan.gsfc.nasa.gov>'s patch for Guan Yang's reported
6675         problem with "User-agent:<space>*<space>" lines in robots.txt.
6676         
6677         * url.c (parseurl, str_url): Removing Dan Berger's code (see
6678         http.c above for explanation).
6679         
6680 1999-08-25  Heiko Herold  <Heiko.Herold@previnet.it>
6681
6682         * ftp.c: Respect new option waitretry.
6683
6684 2000-01-30  Damir Dzeko  <ddzeko@zesoi.fer.hr>
6685
6686         * http.c (gethttp): Send custom Referer, if required.
6687
6688 1999-09-24  Charles G Waldman  <cgw@fnal.gov>
6689
6690         * netrc.c (parse_netrc): Allow passwords to contain spaces.
6691
6692         * netrc.c (parse_netrc): New function.
6693
6694 1999-09-17  Dan Berger  <dberger@ix.netcom.com>
6695
6696         * http.c (gethttp): Send it.
6697
6698         * url.c (parseurl): Detect query string in HTTP URL-s.
6699         (str_url): Print it.
6700
6701 2000-03-02  HIROSE Masaaki  <hirose31@t3.rim.or.jp>
6702
6703         * html.c (html_allow): Add <link href=...> and <script src=...>.
6704
6705 1999-05-02  andrew deryabin  <djsf@softhome.net>
6706
6707         * http.c (gethttp): Specify port in `Host' header only if it's
6708         different from 80.
6709
6710 1998-11-03  Edward J. Sabol  <sabol@alderaan.gsfc.nasa.gov>
6711
6712         * recur.c (recursive_retrieve): If a finite maximum depth is
6713         specified, and we're are already at that depth, don't download the
6714         HTML file for parsing.
6715
6716 2000-03-01  Dan Harkless  <wget@harkless.org>
6717
6718         * ftp.c (ftp_loop_internal): Call new downloaded_file() function,
6719         even though we don't do conversion on HTML files retrieved via
6720         FTP, so _current_ usage of downloaded_file() makes this call unneeded. 
6721         (ftp_retrieve_list): Added a comment saying where we need to
6722         stat() a .orig file if FTP'd HTML file conversion is ever implemented.
6723         (ftp_retrieve_list): "Local file '%s' is more recent," is sometimes
6724         a lie -- reworded as "Server file no newer than local file '%s' --".
6725         
6726         * http.c (http_loop): Fixed a typo and clarified a comment.
6727         (http_loop): When -K and -N are specified together, compare size
6728         and timestamp of server file X against local file X.orig (if
6729         extant) rather than converted local file X.
6730         (http_loop): "Local file '%s' is more recent," is sometimes a lie
6731         -- reworded as "Server file no newer than local file '%s' --".
6732         (http_loop): Call new downloaded_file() function to prevent
6733         wrongful overwriting of .orig file when -N is specified.
6734         
6735         * url.c (convert_links): When -K specified, only rename X to
6736         X.orig if downloaded_file() returns TRUE.  Otherwise when we skip
6737         file X due to -N, we clobber an X.orig from a previous invocation.
6738         (convert_links): Call the failsafe xstrdup(), not the real strdup().
6739         (convert_links): Added a note asking anyone who understands how
6740         multiple URLs can correspond to a single file to comment it.
6741         (downloaded_file): Added this new function.
6742         
6743         * url.h (downloaded_file): Added prototype for this new function
6744         as well as its downloaded_file_t enum type.
6745
6746         * wget.h (boolean): Added this new typedef and TRUE and FALSE #defines.
6747
6748 2000-02-29  Dan Harkless  <wget@harkless.org>
6749
6750         * version.c: Upped version to developer-only "1.5.3+dev".
6751
6752 2000-02-18  Dan Harkless  <wget@harkless.org>
6753
6754         * init.c (backup_converted): Added this new option.
6755
6756         * main.c (-K / --backup-converted): Added this new option.
6757
6758         * options.h (backup_converted): Added this new option.
6759
6760         * url.c (convert_links): When backup_converted is specified, save
6761         file X as X.orig before converting.
6762
6763         * url.h (urlpos): Fixed typo -- said "Rekative" instead of "Relative".
6764
6765 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
6766
6767         * version.c: Wget 1.5.3 is released.
6768
6769 1998-09-21  Hrvoje Niksic  <hniksic@srce.hr>
6770
6771         * host.c (ftp_getaddress): Don't warn when reverse-lookup of local 
6772         address doesn't yield FQDN.
6773
6774 1998-09-21  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
6775
6776         * cmpt.c (strerror): Fix declaration of sys_errlist.
6777
6778 1998-09-11  Hrvoje Niksic  <hniksic@srce.hr>
6779
6780         * main.c (main): Don't use an array subscript as the first
6781         argument to STRDUP_ALLOCA.
6782         From Kaveh R. Ghazi.
6783
6784 1998-09-11  Szakacsits Szabolcs  <szaka@sienet.hu>
6785
6786         * html.c (htmlfindurl): Download table background.
6787
6788 1998-09-11  Hans Grobler  <grobh@conde.ee.sun.ac.za>
6789
6790         * init.c (parse_line): Would free *com before allocating it.
6791         (parse_line): Would free com instead of *com.
6792
6793 1998-09-10  Howard Gayle  <howard@fjst.com>
6794
6795         * url.c (get_urls_html): Would drop the last character of the
6796         link.
6797
6798 1998-09-10  Hrvoje Niksic  <hniksic@srce.hr>
6799
6800         * http.c (http_loop): Don't print status code if quiet.
6801
6802 1998-09-10  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
6803
6804         * log.c: Use <stdarg.h> only when __STDC__.
6805
6806 1998-09-10  Adam D. Moss  <adam@foxbox.org>
6807
6808         * html.c (htmlfindurl): Download <layer src=...>.
6809
6810 1998-09-10  Howard Gayle  <howard@fjst.com>
6811
6812         * ftp.c (ftp_retrieve_list): Don't update the time stamp of a file 
6813         not retrieved.
6814
6815 1998-06-27  Hrvoje Niksic  <hniksic@srce.hr>
6816
6817         * utils.c: Include <libc.h> on NeXT.
6818
6819 1998-06-26  Heinz Salzmann  <heinz.salzmann@intermetall.de>
6820
6821         * url.c (get_urls_html): Fix calculation of URL position.
6822
6823 1998-06-23  Hrvoje Niksic  <hniksic@srce.hr>
6824
6825         * version.c: Wget 1.5.2 is released.
6826
6827 1998-06-23  Dave Love  <d.love@dl.ac.uk>
6828
6829         * ftp.c, init.c, netrc.c: Include errno.h.
6830
6831         * http.c: Include errno.h and time header.
6832
6833         * Makefile.in (exext): Define.
6834         (install.bin, uninstall.bin): Use it.
6835
6836 1998-06-21  Hrvoje Niksic  <hniksic@srce.hr>
6837
6838         * http.c (http_loop): Don't attempt to compare local and remote
6839         sizes if the remote size is unknown.
6840
6841 1998-06-16  Hrvoje Niksic  <hniksic@srce.hr>
6842
6843         * url.c (get_urls_html): Use malloc() instead of alloca in the
6844         loop.
6845
6846 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
6847
6848         * version.c: Wget 1.5.2-b4 is released.
6849
6850 1998-06-13  Hrvoje Niksic  <hniksic@srce.hr>
6851
6852         * url.c (get_urls_html): Ignore spaces before and after the URI.
6853
6854 1998-06-08  Wanderlei Antonio Cavassin  <cavassin@conectiva.com.br>
6855
6856         * ftp.c (getftp): Translate `done'.
6857
6858 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
6859
6860         * version.c: Wget 1.5.2-b3 is released.
6861
6862 1998-06-06  Alexander Kourakos  <awk@bnt.com>
6863
6864         * init.c (cleanup): Close dfp, don't free it.
6865
6866 1998-06-06  Hrvoje Niksic  <hniksic@srce.hr>
6867
6868         * utils.c (make_directory): Twiddle.
6869
6870         * config.h.in: Added template for access().
6871
6872 1998-06-05  Mathieu Guillaume  <mat@cythere.com>
6873
6874         * html.c (htmlfindurl): Download <input src=...>
6875
6876 1998-06-03  Hrvoje Niksic  <hniksic@srce.hr>
6877
6878         * utils.c (file_exists_p): Use access() with two arguments.
6879
6880 1998-05-27  Martin Kraemer  <Martin.Kraemer@mch.sni.de>
6881
6882         * netrc.c (parse_netrc): Correct logic.
6883
6884 1998-05-27  Hrvoje Niksic  <hniksic@srce.hr>
6885
6886         * ftp.c (getftp): Added `break'; suggested by Lin Zhe Min
6887         <ljm@ljm.wownet.net>.
6888
6889 1998-05-24  Hrvoje Niksic  <hniksic@srce.hr>
6890
6891         * version.c: Wget 1.5.2-b2 is released.
6892
6893 1998-05-18  Juan Jose Rodriguez  <jcnsoft@jal1.telmex.net.mx>
6894
6895         * mswindows.h: Don't translate mkdir to _mkdir under Borland.
6896
6897 1998-05-17  Hrvoje Niksic  <hniksic@srce.hr>
6898
6899         * retr.c (elapsed_time): Return correct value when
6900         HAVE_GETTIMEOFDAY is undefined.
6901
6902 1998-05-13  Hrvoje Niksic  <hniksic@srce.hr>
6903
6904         * version.c: Wget 1.5.2-b1 is released.
6905
6906 1998-05-08  Hrvoje Niksic  <hniksic@srce.hr>
6907
6908         * getopt.c (_getopt_internal): Use exec_name instead of argv[0].
6909         (_getopt_internal): Don't translate `#if 0'-ed strings.
6910
6911 1998-05-06  Douglas E. Wegscheid  <wegscd@whirlpool.com>
6912
6913         * mswindows.c (ws_handler): Use fork_to_background().
6914
6915 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
6916
6917         * version.c: Wget 1.5.1 is released.
6918
6919 1998-05-05  Hrvoje Niksic  <hniksic@srce.hr>
6920
6921         * http.c (parse_http_status_line): Avoid `minor' and `major'
6922         names.
6923
6924 1998-05-02  Hrvoje Niksic  <hniksic@srce.hr>
6925
6926         * utils.c (mkdirhier): Renamed to make_directory.
6927
6928 1998-05-01  Hrvoje Niksic  <hniksic@srce.hr>
6929
6930         * mswindows.c (fork_to_background): Define under Windows.
6931
6932         * utils.c (fork_to_background): New function.
6933
6934         * html.c (htmlfindurl): Removed rerdundant casts.
6935
6936 1998-05-01  Douglas E. Wegscheid  <wegscd@whirlpool.com>
6937
6938         * mswindows.c (ws_mypath): Cache the path.
6939
6940 1998-04-30  Douglas E. Wegscheid  <wegscd@whirlpool.com>
6941
6942         * ftp.h: Prefix enum ftype members with FT_.
6943
6944         * ftp-ls.c, ftp.c, html.h: Adjust accordingly.
6945
6946         * mswindows.h: Use stat under Borland, _stat under MSVC.
6947
6948 1998-04-28  Hrvoje Niksic  <hniksic@srce.hr>
6949
6950         * http.c (known_authentication_scheme_p): New function.
6951         (gethttp): Handle authorization more correctly.
6952
6953         * ftp-basic.h: Removed.
6954
6955         * cmpt.h: Removed.
6956
6957         * utils.c: Include <unistd.h> before <pwd.h>; needed under SunOS
6958         with gcc 2.8.
6959         (numdigit): Use `while' loop.
6960
6961         * http.c (create_authorization_line): Detect authentication
6962         schemes case-insensitively.
6963
6964         * http.c (extract_header_attr): Use strdupdelim().
6965         (digest_authentication_encode): Move declaration of local
6966         variables to smaller scope.
6967         (digest_authentication_encode): Reset REALM, OPAQUE and NONCE.
6968         (create_authorization_line): Detect authentication schemes
6969         case-insensitively.
6970
6971         * utils.c (touch): Constify.
6972
6973         * http.c (gethttp): Report a nicer error when no data is received.
6974
6975         * rbuf.h (RBUF_READCHAR): Ditto.
6976
6977         * ftp-basic.c (ftp_response): Use sizeof.
6978
6979 1998-04-27  Hrvoje Niksic  <hniksic@srce.hr>
6980
6981         * retr.c (print_percentage): EXPECTED is long, not int.
6982         (print_percentage): Use floating-point arithmetic to avoid
6983         overflow with large files' sizes multiplied with 100.
6984
6985 1998-04-27  Gregor Hoffleit  <flight@mathi.uni-heidelberg.de>
6986
6987         * config.h.in: Added pid_t stub.
6988
6989         * sysdep.h (S_ISREG): Moved here from mswindows.h (NeXT doesn't
6990         define it).
6991
6992 1998-04-20  Hrvoje Niksic  <hniksic@srce.hr>
6993
6994         * version.c: Wget 1.5.0 is released.
6995
6996 1998-04-18  Hrvoje Niksic  <hniksic@srce.hr>
6997
6998         * url.c (str_url): Ditto.
6999
7000         * ftp-basic.c (ftp_rest): Use new name.
7001
7002         * utils.c (long_to_string): Renamed from prnum().
7003
7004 1998-04-16  Hrvoje Niksic  <hniksic@srce.hr>
7005
7006         * version.c: Wget 1.5-b17 is released.
7007
7008 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
7009
7010         * headers.c (header_get): New argument FLAGS.
7011
7012         * http.c (gethttp): If request is malformed, bail out of the
7013         header loop.
7014         (gethttp): Check for empty header *after* the status line checks.
7015         (gethttp): Disallow continuations for status line.
7016
7017 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
7018
7019         * version.c: Wget 1.5-b16 is released.
7020
7021 1998-04-08  Hrvoje Niksic  <hniksic@srce.hr>
7022
7023         * init.c (commands): Renamed `always_rest' to `continue'.
7024
7025 1998-04-05  Hrvoje Niksic  <hniksic@srce.hr>
7026
7027         * all: Use it.
7028
7029         * log.c (logputs): New argument.
7030         (logvprintf): Ditto.
7031         (logprintf): Ditto.
7032
7033 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
7034
7035         * http.c (http_atotm): Update comment.
7036
7037         * main.c (i18n_initialize): Set LC_MESSAGES, not LC_ALL.
7038
7039         * wget.h: Renamed ENABLED_NLS to HAVE_NLS.
7040
7041         * main.c (i18n_initialize): New function.
7042         (main): Use it.
7043
7044         * log.c: Include <unistd.h>.
7045
7046         * retr.c (show_progress): Cast alloca to char *.
7047
7048 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
7049
7050         * version.c: Wget 1.5-b15 is released.
7051
7052 1998-04-04  Hrvoje Niksic  <hniksic@srce.hr>
7053
7054         * utils.h: Declare file_non_directory_p().
7055
7056 1998-04-03  Hrvoje Niksic  <hniksic@srce.hr>
7057
7058         * main.c (main): It's `tries', not `numtries' now.
7059
7060 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
7061
7062         * init.c (getperms): Removed.
7063
7064 1998-04-01  Tim Charron  <tcharron@interlog.com>
7065
7066         * log.c (logvprintf): Don't use ARGS twice.
7067
7068 1998-04-01  John  <john@futuresguide.com>
7069
7070         * mswindows.c: Cleaned up.
7071
7072 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
7073
7074         * version.c: Wget 1.5-b14 is released.
7075
7076 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
7077
7078         * ftp-opie.c (STRLEN4): New macro.
7079         (btoe): Use it.
7080
7081 1998-04-01  Junio Hamano  <junio@twinsun.com>
7082
7083         * http.c: Document all the Digest functions.
7084
7085 1998-04-01  Hrvoje Niksic  <hniksic@srce.hr>
7086
7087         * utils.c (file_non_directory_p): Renamed from isfile().
7088
7089         * mswindows.h (S_ISREG): New macro, suggested by Tim Adam.
7090
7091 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
7092
7093         * utils.c (mkdirhier): Use 0777 instead of opt.dirmode.
7094
7095         * init.c (cmd_spec_dotstyle): Use 48 dots per line for binary
7096         style.
7097         (cmd_permissions): Removed.
7098
7099         * config.h.in: Add template for WORDS_BIGENDIAN.
7100
7101 1998-03-31  Junio Hamano  <junio@twinsun.com>
7102
7103         * http.c (HEXD2asc): New macro.
7104         (dump_hash): Use it.
7105
7106 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
7107
7108         * version.c: Wget 1.5-b13 is released.
7109
7110 1998-03-31  Hrvoje Niksic  <hniksic@srce.hr>
7111
7112         * main.c (main): Don't try to use `com'.
7113
7114 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
7115
7116         * init.c (cmd_permissions): New function.
7117
7118 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
7119
7120         * version.c: Wget 1.5-b12 is released.
7121
7122 1998-03-30  Hrvoje Niksic  <hniksic@srce.hr>
7123
7124         * init.c (commands): Renamed `numtries' to `tries'.
7125         (cmd_spec_debug): Removed.
7126         (home_dir): Under Windows, return `C:\' if HOME is undefined.
7127
7128 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
7129
7130         * config.h.in: Define _XOPEN_SOURCE.
7131
7132         * init.c (check_user_specified_header): New function.
7133         (cmd_spec_header): Use it.
7134         (cmd_spec_useragent): New function.
7135
7136 1998-03-29  Hrvoje Niksic  <hniksic@srce.hr>
7137
7138         * version.c: Wget 1.5-b11 is released.
7139
7140 1998-03-28  Hrvoje Niksic  <hniksic@srce.hr>
7141
7142         * wget.h: Include <libintl.h> only if NLS is enabled.
7143
7144 1998-03-26  Hrvoje Niksic  <hniksic@srce.hr>
7145
7146         * options.h (struct options): Made `wait' a long.
7147         (struct options): Ditto for `timeout'.
7148
7149 1998-03-19  Hrvoje Niksic  <hniksic@srce.hr>
7150
7151         * utils.c (exists): Renamed to file_exists_p.
7152         (file_exists_p): Use access() if available.
7153
7154 1998-03-17  Hrvoje Niksic  <hniksic@srce.hr>
7155
7156         * utils.c (memfatal): Set save_log_p to 0 to avoid potential
7157         infloop.
7158
7159         * log.c: do_logging -> save_log_p.
7160
7161         * config.h.in: Added template for HAVE_VSNPRINTF.
7162
7163 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
7164
7165         * init.c: Ditto.
7166
7167         * http.c: Protect declaration against non-ANSI compiler.
7168
7169         * log.c (logvprintf): Use vsnprintf() if available.
7170
7171         * getopt.c (main): Don't translate test stuff.
7172
7173 1998-03-16  Hrvoje Niksic  <hniksic@srce.hr>
7174
7175         * version.c: Wget 1.5-b10 is released.
7176
7177 1998-03-11  Hrvoje Niksic  <hniksic@srce.hr>
7178
7179         * ftp.c (getftp): Don't translate "CWD %s".
7180
7181         * wget.h (GCC_FORMAT_ATTR): Renamed from FORMAT_ATTR.
7182
7183 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
7184
7185         * ftp-opie.c (btoe): Use memcpy() instead of strncat().
7186
7187         * log.c (logputs): New function.
7188         (logvprintf): Renamed from vlogmsg; use logputs().
7189
7190         * retr.c (show_progress): Print `[100%]' when the retrieval is
7191         finished.
7192
7193         * init.c (run_wgetrc): Use FILE, not PATH.
7194         (wgetrc_file_name): Ditto.
7195
7196 1998-03-07  Tim Adam  <tma@osa.com.au>
7197
7198         * recur.c (parse_robots): Correctly reset `entries' on empty
7199         disallow.
7200
7201 1998-03-07  Hrvoje Niksic  <hniksic@srce.hr>
7202
7203         * init.c (cmd_spec_debug): Use cmd_boolean().
7204
7205 1998-02-23  Hrvoje Niksic  <hniksic@srce.hr>
7206
7207         * http.c (gethttp): Create proxy-authorization correctly.
7208
7209 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
7210
7211         * md5.c: Ditto.
7212
7213         * getopt.c: Use ANSI function definitions.
7214
7215         * ftp-opie.c: New file.
7216
7217         * options.h: Don't redefine EXTERN.
7218
7219         * init.c: Sort it correctly.
7220
7221 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
7222
7223         * version.c: Wget 1.5-b9 is released.
7224
7225 1998-02-22  Hrvoje Niksic  <hniksic@srce.hr>
7226
7227         * recur.c (recursive_retrieve): Reset `first_time'.
7228
7229         * ftp.c (getftp): Added `default' clause to switches of uerr_t.
7230
7231         * rbuf.c (rbuf_peek): Simplified.
7232         (rbuf_flush): Use MINVAL.
7233
7234         * wget.h (MINVAL): Moved from url.h.
7235
7236         * rbuf.h (RBUF_FD): New macro.
7237
7238         * url.c (add_url): Add to the head of the list.
7239
7240         * ftp.c (ftp_retrieve_list): Set the permissions to downloaded
7241         file.
7242         (getftp): Set the default permissions to 0600.
7243
7244 1998-02-21  Hrvoje Niksic  <hniksic@srce.hr>
7245
7246         * url.c (get_urls_html): Ditto.
7247         (convert_links): Ditto.
7248
7249         * recur.c (parse_robots): Ditto.
7250
7251         * html.c (ftp_index): Ditto.
7252
7253         * ftp-ls.c (ftp_parse_unix_ls): Open file as binary.
7254
7255         * init.c (defaults): Initialize `opt' to zero via memset.
7256
7257         * http.c (digest_authentication_encode): goto considered harmful.
7258
7259 1998-02-19  Hrvoje Niksic  <hniksic@srce.hr>
7260
7261         * ftp.c (delelement): Simplify and fix leak.
7262
7263 1998-02-18  Hrvoje Niksic  <hniksic@srce.hr>
7264
7265         * http.c (dump_hash): Use HEXD2ASC instead of home-grown stuff.
7266
7267         * url.h (HEXD2ASC): Removed warning.
7268
7269         * init.c (comind): Use binary search.
7270         (commands): Reorganized.
7271         (setval): Ditto.
7272         (cmd_boolean): New function.
7273         (cmd_number): Ditto.
7274         (cmd_number_inf): Ditto.
7275         (cmd_string): Ditto.
7276         (cmd_vector): Ditto.
7277         (cmd_directory_vector): Ditto.
7278         (cmd_bytes): Ditto.
7279         (cmd_time): Ditto.
7280         (cmd_spec_debug): Ditto.
7281         (cmd_spec_dirmode): Ditto.
7282         (cmd_spec_dirstruct): Ditto.
7283         (cmd_spec_dotstyle): Ditto.
7284         (cmd_spec_header): Ditto.
7285         (cmd_spec_htmlify): Ditto.
7286         (cmd_spec_mirror): Ditto.
7287         (cmd_spec_outputdocument): Ditto.
7288         (cmd_spec_recursive): Ditto.
7289         (settime): Merged with cmd_time().
7290         (setbytes): Merged with cmd_bytes().
7291         (setonoff): Merged with cmd_boolean().
7292         (onoff): Ditto.
7293
7294 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
7295
7296         * Makefile.in (distclean): Remove `config.h'.
7297
7298 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
7299
7300         * version.c: Wget 1.5-b8 is released.
7301
7302 1998-02-17  Hrvoje Niksic  <hniksic@srce.hr>
7303
7304         * http.c (digest_authentication_encode): New function.
7305         (create_authorization_line): Use it.
7306         (dump_hash): New function.
7307         (digest_authentication_encode): Use it.
7308
7309         * fnmatch.c: Renamed from `mtch.c'.
7310
7311 1998-02-15  Karl Eichwalder  <ke@suse.de>
7312
7313         * main.c (main): Tag "Written by..." string as translatable.
7314
7315 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
7316
7317         * wget.h (FREE_MAYBE): New macro.
7318
7319         * http.c (create_authorization_line): Don't use ANSI C string
7320         concatenation feature.
7321         (basic_authentication_encode): Use alloca() for temporary
7322         variables.
7323
7324         * recur.h: Ditto.
7325
7326         * http.c: Ditto.
7327
7328         * headers.h: Ditto.
7329
7330         * ftp-basic.c: Protect declaration against non-ANSI compiler.
7331
7332         * http.c (create_authorization_line): Cast `unsigned char *' to
7333         `char *' for sprintf, to shut up the noisy Digital Unix cc.
7334
7335 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
7336
7337         * version.c: Wget 1.5-b7 is released.
7338
7339 1998-02-15  Hrvoje Niksic  <hniksic@srce.hr>
7340
7341         * cmpt.c (strstr): Synched with glibc-2.0.6.
7342
7343         * ftp-basic.c (calculate_skey_response): Ditto.
7344         (calculate_skey_response): Use alloca().
7345
7346         * http.c (create_authorization_line): Work with FSF's version of
7347         md5.c.
7348
7349         * md5.c: New file, from GNU libc.
7350
7351 1998-02-14  Hrvoje Niksic  <hniksic@srce.hr>
7352
7353         * url.h (URL_CLEANSE): Name the temporary variable more carefully.
7354
7355 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
7356
7357         * http.c (basic_authentication_encode): New function, instead of
7358         the macro.
7359
7360 1998-02-13  Junio Hamano  <junio@twinsun.com>
7361
7362         * http.c: Add HTTP-DA support.
7363         * ftp-basic.c: Add Opie/S-key support.
7364         * config.h.in, Makefile.in: Add HTTP-DA and Opie/S-key support.
7365         * md5.c, md5.h: New files.
7366
7367 1998-02-13  Hrvoje Niksic  <hniksic@srce.hr>
7368
7369         * http.c (http_process_range): Renamed from hprocrange().
7370         (http_process_range): Parse the whole header.
7371
7372         * headers.c: New file.
7373         (header_process): New function.
7374         (header_get): Renamed from fetch_next_header.
7375
7376         * all: Include utils.h only where necessary.
7377
7378         * wget.h: Declare xmalloc(), xrealloc() and xstrdup() here.
7379
7380         * wget.h: Add provisions for dmalloc.
7381
7382 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
7383
7384         * version.c: Wget 1.5-b6 is released.
7385
7386 1998-02-12  Hrvoje Niksic  <hniksic@srce.hr>
7387
7388         * ftp.c (ftp_loop): Determine `filename' more precisely.
7389
7390         * init.c (setval): Don't set `opt.quiet' if output-document is
7391         `-'.
7392
7393         * log.c (log_init): Print to STDERR instead of STDOUT.
7394         (vlogmsg): Use STDERR by default.
7395         (logflush): Ditto.
7396
7397 1998-02-11  Simon Josefsson  <jas@pdc.kth.se>
7398
7399         * host.c: Use addr_in again.
7400
7401 1998-02-08  Karl Eichwalder  <karl@suse.de>
7402
7403         * http.c (gethttp): Fixed typo.
7404
7405 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
7406
7407         * version.c: Wget 1.5-b5 is released.
7408
7409 1998-02-08  Hrvoje Niksic  <hniksic@srce.hr>
7410
7411         * retr.c (show_progress): Use it.
7412
7413         * log.c (logflush): New function.
7414
7415         * wget.h: Utilize __attribute__ if on gcc.
7416
7417 1998-02-07  Hrvoje Niksic  <hniksic@srce.hr>
7418
7419         * http.c (base64_encode_line): New argument LENGTH.
7420         (BASIC_AUTHENTICATION_ENCODE): Use it.
7421         (BASIC_AUTHENTICATION_ENCODE): Take length of HEADER into account.
7422
7423         * main.c (main): Fixed fprintf() format mismatch.
7424
7425 1998-02-06  Hrvoje Niksic  <hniksic@srce.hr>
7426
7427         * version.c: Wget 1.5-b4 is released.
7428
7429 1998-02-03  Simon Josefsson  <jas@pdc.kth.se>
7430
7431         * host.c: use sockaddr_in instead of addr_in.
7432
7433 1998-02-04  Hrvoje Niksic  <hniksic@srce.hr>
7434
7435         * init.c (cleanup): Use it.
7436
7437         * recur.c (recursive_cleanup): New function.
7438
7439         * retr.c (retrieve_from_file): Ditto.
7440
7441         * main.c (main): Use it.
7442
7443         * recur.c (recursive_reset): New function.
7444
7445         * retr.c (retrieve_from_file): Ditto.
7446
7447         * main.c (main): Simplify call to recursive_retrieve().
7448
7449         * recur.c (recursive_retrieve): Removed FLAGS argument.
7450
7451         * http.c (gethttp): Changed call to iwrite().
7452
7453 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
7454
7455         * url.c (get_urls_html): Ditto.
7456         (free_urlpos): Ditto.
7457         (mkstruct): Ditto.
7458         (construct): Ditto.
7459
7460         * retr.c (retrieve_url): Move declaration of local variables to
7461         smaller scope.
7462
7463         * url.c (urlproto): Use it.
7464         (parseurl): Ditto.
7465         (str_url): Ditto.
7466         (get_urls_html): Ditto.
7467
7468         * utils.h (ARRAY_SIZE): New macro.
7469
7470         * url.c (proto): Moved from url.h.
7471
7472         * url.h (URL_CLEANSE): Reformatted.
7473         (USE_PROXY_P): Renamed from USE_PROXY.
7474
7475         * ftp-basic.c: Adjust to the new interface of iwrite().
7476
7477         * ftp-basic.c (ftp_port): Use alloca().
7478
7479 1998-02-03  Hrvoje Niksic  <hniksic@srce.hr>
7480
7481         * version.c: Wget 1.5-b3 is released.
7482
7483         * host.c (ftp_getaddress): Don't print to stderr directly.
7484
7485         * init.c (setbytes): Support `g' for gigabytes.
7486         (cmdtype): New specification CTIME.
7487         (setval): Use it with settime().
7488         (commands): Use it for WAIT and TIMEOUT.
7489
7490 1998-02-02  Hrvoje Niksic  <hniksic@srce.hr>
7491
7492         * http.c (BASIC_AUTHENTICATION_ENCODE): New macro.
7493         (gethttp): Use it.
7494
7495         * utils.c (unique_name_1): Moved from url.c.
7496         (unique_name): Ditto.
7497
7498         * url.c (url_filename): Ditto.
7499
7500         * log.c (redirect_output): Changed call to unique_name().
7501
7502         * url.c (unique_name_1): Renamed from unique_name().
7503         (unique_name): Changed interface.
7504
7505         * init.c (enum cmdid): Moved from init.h.
7506         (cmdtype): Ditto.
7507         (struct cmd): Ditto.
7508
7509         * main.c (main): Use it.
7510         (main): Moved `--backups' to not have a short option.
7511
7512         * options.h (struct options): New member BACKGROUND.
7513
7514         * main.c (print_help): Rearranged.
7515         (main): New long options for -n* short options: --no-directories,
7516         --no-host-directories, --non-verbose, --no-host-lookup and
7517         --dont-remove-listing.
7518
7519 1998-02-01  Hrvoje Niksic  <hniksic@srce.hr>
7520
7521         * main.c (main): Use log_close().
7522
7523         * log.c: New variable LOGFP.
7524         (vlogmsg): Use it.
7525         (redirect_output): Don't open /dev/null; set LOGFP to stdin
7526         instead.
7527         (log_close): New function.
7528
7529         * options.h (struct options): Removed LFILE.
7530
7531         * log.c (log_enable): Removed.
7532
7533         * main.c (main): Use it.
7534
7535         * log.c (log_init): New function.
7536
7537         * url.c (get_urls_html): Removed needless assignment to BASE.
7538
7539         * host.c (add_hlist): Don't set CMP needlessly.
7540
7541         * utils.c (match_backwards): Ditto.
7542         (in_acclist): Ditto.
7543
7544         * url.c (findurl): Ditto.
7545
7546         * netrc.c (parse_netrc): Ditto.
7547
7548         * log.c (log_dump): Ditto.
7549
7550         * html.c (html_quote_string): Ditto.
7551
7552         * ftp-basic.c (ftp_request): Made static.
7553
7554         * connect.c: Made global variables static.
7555
7556         * url.c (construct): Ditto.
7557
7558         * init.c (init_path): Avoid assignment inside `if'-condition.
7559
7560         * ftp.c: Don't include in.h or winsock.h.
7561
7562         * ftp.c (ftp_loop): Use SZ.
7563
7564         * connect.c (bindport): Cast &addrlen to int *.
7565         (conaddr): Ditto.
7566
7567         * init.c (initialize): Don't use SYSTEM_WGETRC unconditionally.
7568
7569 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
7570
7571         * ftp.c (getftp): Initialize opt.ftp_pass here.
7572         (ftp_retrieve_dirs): Use alloca().
7573
7574         * init.c (defaults): Don't initialize opt.ftp_pass.
7575
7576         * sysdep.h (S_ISLNK): Declare for OS/2; ditto for lstat.
7577         From Ivan F. Martinez <ivanfm@ecodigit.com.br>.
7578
7579 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
7580
7581         * recur.c (parse_robots): Check for comments more correctly.
7582
7583         * host.c (ftp_getaddress): Use STRDUP_ALLOCA.
7584         (ftp_getaddress): Add diagnostics when reverse-lookup yields only
7585         hostname.
7586
7587 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
7588
7589         * version.c: Wget 1.5-b2 is released.
7590
7591         * netrc.c (NETRC_FILE_NAME): Moved from netrc.h.
7592
7593         * utils.c (proclist): Pass FNM_PATHNAME to fnmatch().
7594
7595         * ftp-basic.c (ftp_pasv): Avoid unnecessary casting to unsigned
7596         char.
7597
7598         * log.c: Don't attempt to hide arguments from ansi2knr.
7599
7600         * cmpt.c: Synched strptime() and mktime() with glibc-2.0.6.
7601
7602         * ansi2knr.c: Use a later version, from fileutils-3.16l alpha.
7603
7604         * ftp.c (getftp): Ditto.
7605
7606         * http.c (gethttp): Use it.
7607
7608         * retr.c (get_contents): New argument EXPECTED; pass it to
7609         show_progress().
7610         (show_progress): New argument EXPECTED; use it to display
7611         percentages.
7612
7613         * init.c (setval): Ditto.
7614
7615         * http.c (gethttp): Ditto.
7616         (http_loop): Ditto.
7617
7618         * ftp.c (getftp): Ditto.
7619         (ftp_loop_internal): Ditto.
7620
7621         * ftp-ls.c (ftp_parse_unix_ls): Use abort() instead of assert(0).
7622
7623         * sysdep.h (CLOSE): Simplify; use DEBUGP.
7624
7625         * netrc.c (search_netrc): Use alloca().
7626
7627         * init.c (defaults): Initialize no_flush.
7628
7629         * log.c (vlogmsg): Don't flush if no_flush.
7630
7631         * options.h (struct options): New variable no_flush.
7632
7633         * main.c (main): Don't play games with buffering.
7634
7635         * log.c (vlogmsg): Flush the output after every message.
7636
7637 1998-01-31  Hrvoje Niksic  <hniksic@srce.hr>
7638
7639         * init.c (parse_line): Ditto.
7640
7641         * url.c (get_urls_html): Ditto.
7642
7643         * main.c (main): Don't cast to unsigned char.
7644
7645         * init.c (run_wgetrc): Don't cast to unsigned char.
7646         (parse_line): Accept char instead of unsigned char.
7647
7648         * html.c (htmlfindurl): Use char instead of unsigned char.
7649
7650         * all: Use them.
7651
7652         * sysdep.h: Add wrappers to ctype macros to make them
7653         eight-bit-clean:
7654
7655 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
7656
7657         * html.c (htmlfindurl): Download <img lowsrc=...>
7658
7659         * main.c (main): Ignore SIGPIPE.
7660
7661         * connect.c (select_fd): New argument WRITEP.
7662         (iwrite): Call select_fd().
7663
7664 1997-02-27  Fila Kolodny <fila@ibi.com>
7665
7666         * ftp.c (ftp_retrieve_list): If retrieving symlink and the proper
7667         one already exists, just skip it.
7668
7669 1998-01-30  Hrvoje Niksic  <hniksic@srce.hr>
7670
7671         * http.c (gethttp): Cosmetic changes.
7672
7673         * http.c (check_end): Allow `+D...' instead of `GMT'.
7674         From Fabrizio Pollastri <pollastri@cstv.to.cnr.it>.
7675
7676         * url.c (process_ftp_type): New function.
7677         (parseurl): Use it.
7678
7679         * connect.c (iwrite): Allow writing in a few chunks.
7680         (bindport): Made SRV static, so addr can point to it.
7681         (select_fd): Removed HPUX kludge.
7682
7683         * host.c (free_hlist): Incorporated into clean_hosts().
7684
7685 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
7686
7687         * host.c (hlist): Made static.
7688         (search_address): Cosmetic change.
7689
7690 1998-01-29  Hrvoje Niksic  <hniksic@srce.hr>
7691
7692         * version.c: Wget v1.5-b1 is released.
7693
7694         * http.c (hgetlen): Use sizeof() to get the header length.
7695         (hgetrange): Ditto.
7696         (hgettype): Ditto.
7697         (hgetlocation): Ditto.
7698         (hgetmodified): Ditto.
7699         (haccepts_none): Ditto.
7700
7701         * main.c (main): Updated `--version' and `--help' output, as per
7702         Francois Pinard's suggestions.
7703
7704         * main.c: Include locale.h; call setlocale(), bindtextdomain() and 
7705         textdomain().
7706
7707         * config.h.in: Define stubs for I18N3.
7708
7709         * wget.h: Include libintl.h.
7710
7711 1998-01-28  Hrvoje Niksic  <hniksic@srce.hr>
7712
7713         * url.c (mkstruct): Check for opt.cut_dirs.
7714         (mkstruct): alloca()-te more, xmalloc() less.
7715
7716         * utils.c (load_file): Check for ferror().
7717
7718         * url.c (get_urls_file): Close only the files we opened.
7719         (get_urls_html): Ditto.
7720         (count_slashes): New function.
7721
7722         * http.h: Removed.
7723
7724         * http.c (gethttp): Respect username and password provided by
7725         proxy URL.
7726         (base64_encode_line): Write into an existing buffer instead of
7727         malloc-ing a new one.
7728         (struct http_stat): Moved from http.h
7729
7730         * retr.c (retrieve_url): Free SUF.
7731
7732         * all: Removed lots of unnecessary .h dependencies.
7733
7734         * html.c (global_state): Made static.
7735
7736         * utils.h (ALLOCA_ARRAY): New macro.
7737
7738         * main.c (main): New option `--cut-dirs'.
7739
7740         * url.c (construct): Use alloca() for T.
7741
7742         * utils.c (mkdirhier): Use STRDUP_ALLOCA.
7743
7744         * host.c (_host_t): Moved from host.h.
7745         (struct host): Renamed from _host_t.
7746         (store_hostaddress): Use STRDUP_ALLOCA for INET_S.
7747         (realhost): Ditto.
7748
7749         * host.h: Don't include url.h.
7750
7751         * ftp.c (LIST_FILENAME): Moved from ftp.h.
7752
7753         * init.c (DEFAULT_FTP_ACCT): Moved from ftp.h.
7754
7755         * main.c (main): Enable log if the output goes to a TTY.
7756
7757         * connect.h: Removed unused constant `BACKLOG'.
7758
7759         * config.h.in: Check for isatty().
7760
7761         * Makefile.in (LINK): Use CFLAGS when linking.
7762
7763 1998-01-27  Hrvoje Niksic  <hniksic@srce.hr>
7764
7765         * mswindows.c (ws_hangup): Use redirect_output().
7766
7767         * main.c (redirect_output_signal): New function; use
7768         redirect_output().
7769
7770         * log.c (redirect_output): New function, based on hangup(), which
7771         is deleted.
7772
7773         * log.c (vlogmsg): New function.
7774
7775         * wget.h (DEBUGP): Use debug_logmsg().
7776
7777         * main.c (hangup): Use it.
7778
7779         * log.c (log_dump): New function.
7780
7781         * utils.h (DO_REALLOC): Use `long' for various sizes.
7782
7783         * http.c (hskip_lws): Use `while', for clarity.
7784         (HTTP_DYNAMIC_LINE_BUFFER): New constant.
7785         (fetch_next_header): Use it instead of DYNAMIC_LINE_BUFFER.
7786
7787         * ftp-basic.c (FTP_DYNAMIC_LINE_BUFFER): New constant.
7788         (ftp_response): Use it instead of DYNAMIC_LINE_BUFFER.
7789
7790         * utils.c (DYNAMIC_LINE_BUFFER): Moved from utils.c.
7791         (LEGIBLE_SEPARATOR): Ditto.
7792         (FILE_BUFFER_SIZE): Ditto.
7793
7794         * retr.c (BUFFER_SIZE): Moved from retr.h.
7795
7796         * log.c: New file.
7797         (logmsg): Moved from utils.c.
7798         (debug_logmsg): New function.
7799
7800         * mswindows.h: Include it here.
7801
7802         * init.c: Ditto.
7803
7804         * utils.c: Don't include <windows.h>.
7805
7806 1998-01-25  Hrvoje Niksic  <hniksic@srce.hr>
7807
7808         * host.c (ftp_getaddress): Ditto.
7809
7810         * main.c (main): Use it.
7811
7812         * utils.h (STRDUP_ALLOCA): New macro.
7813
7814         * init.c: Prepend `wget: ' to error messages printed on stderr.
7815
7816         * utils.c (mkdirhier): Renamed from mymkdir.
7817         (touch): Renamed from my_touch.
7818         (pwd_cuserid): Renamed from my_cuserid().
7819
7820 1998-01-24  Andy Eskilsson  <andy.eskilsson@telelogic.se>
7821
7822         * utils.c (accdir): Process wildcards.
7823         (proclist): New function.
7824         (accdir): Use it to avoid code repetition.
7825
7826 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
7827
7828         * recur.c (parse_robots): Respect opt.useragent; use alloca().
7829
7830         * http.c (gethttp): Construct useragent accordingly.
7831
7832         * version.c: Changed version string to numbers-only.
7833
7834         * main.c (print_help): List all the options.
7835
7836         * mswindows.c (windows_main_junk): Initialize argv0 here.
7837
7838 1998-01-24  Karl Heuer  <kwzh@gnu.org>
7839
7840         * netrc.c (search_netrc): Initialize `l' only after processing
7841         netrc.
7842
7843         * main.c (main): Don't trap SIGHUP if it's being ignored.
7844
7845 1998-01-24  Hrvoje Niksic  <hniksic@srce.hr>
7846
7847         * all: Use logmsg().
7848
7849         * utils.c (time_str): Moved from retr.c.
7850         (logmsg): New function.
7851         (logmsg_noflush): Ditto.
7852
7853         * rbuf.c: New file, moved buf_* functions here.
7854
7855         * ftp.c (ftp_expected_bytes): Moved from ftp-basic.c.
7856
7857         * ftp-basic.c (ftp_rest): Use prnum().
7858
7859         * ftp-basic.c: Ditto.
7860
7861         * ftp.c: Use the new reading functions and macros.
7862
7863         * retr.c (buf_initialize): New function.
7864         (buf_initialized_p): Ditto.
7865         (buf_uninitialize): Ditto.
7866         (buf_fd): Ditto.
7867
7868         * http.c (fetch_next_header): Use the BUF_READCHAR macro for
7869         efficiency.
7870         (gethttp): Use alloca() where appropriate.
7871
7872         * retr.c (buf_readchar): Use it.
7873         (buf_peek): Use rstreams.
7874
7875         * retr.h (BUF_READCHAR): New macro.
7876
7877         * init.c (home_dir): Rewritten for clarity.
7878         (init_path): Ditto.
7879
7880         * mswindows.c (ws_backgnd): Made static.
7881         (read_registry): Ditto.
7882         (ws_cleanup): Ditto.
7883         (ws_handler): Ditto.
7884
7885 1998-01-23  Hrvoje Niksic  <hniksic@srce.hr>
7886
7887         * alloca.c: New file.
7888
7889         * Makefile.in (ALLOCA): Define.
7890
7891         * mswindows.c (ws_help): Constify.
7892         (ws_help): Use alloca.
7893
7894         * mswindows.c: Reformat.
7895
7896         * all: Added _(...) annotations for I18N snarfing and translation.
7897
7898         * host.c (ftp_getaddress): Nuke SYSINFO.
7899         (ftp_getaddress): Don't use getdomainname().
7900         (ftp_getaddress): Use uname(), where available.
7901
7902         * http.c (gethttp): Protect a stray fprintf().
7903
7904         * init.c (settime): New function.
7905         (setval): Treat WAIT specially, allowing suffixes like `m' for
7906         minutes, etc.
7907
7908 1998-01-21  Hrvoje Niksic  <hniksic@srce.hr>
7909
7910         * url.c (get_urls_html): Use alloca() for TEMP.
7911
7912 1998-01-21  Jordan Mendelson  <jordy@wserv.com>
7913
7914         * url.c (rotate_backups): New function.
7915
7916         * http.c (gethttp): Ditto.
7917
7918         * ftp.c (getftp): Rotate backups.
7919
7920 1997-12-18  Hrvoje Niksic  <hniksic@srce.hr>
7921
7922         * all: Renamed nmalloc(), nrealloc() and nstrdup() to xmalloc(),
7923         xrealloc() and xstrdup().  Use the new functions.
7924
7925         * url.c (decode_string): Made static.
7926         (has_proto): Ditto.
7927         (parse_dir): Ditto.
7928         (parse_uname): Ditto.
7929         (mkstruct): Ditto.
7930         (construct): Ditto.
7931         (construct_relative): Ditto.
7932
7933         * retr.c (show_progress): Made static.
7934
7935         * recur.c (robots_url): Made static.
7936         (retrieve_robots): Ditto.
7937         (parse_robots): Ditto.
7938         (robots_match): Ditto.
7939
7940         * main.h: Removed.
7941
7942         * main.c (printhelp): Made static.
7943         (hangup): Ditto.
7944
7945         * init.c (comind): Made static.
7946         (defaults): Ditto.
7947         (init_path): Ditto.
7948         (run_wgetrc): Ditto.
7949         (onoff): Ditto.
7950         (setonoff): Ditto.
7951         (setnum): Ditto.
7952         (myatoi): Ditto.
7953         (getperms): Ditto.
7954         (setbytes): Ditto.
7955
7956         * http.c (fetch_next_header): Made static.
7957         (hparsestatline): Ditto.
7958         (hskip_lws): Ditto.
7959         (hgetlen): Ditto.
7960         (hgetrange): Ditto.
7961         (hgettype): Ditto.
7962         (hgetlocation): Ditto.
7963         (hgetmodified): Ditto.
7964         (haccepts_none): Ditto.
7965         (gethttp): Ditto.
7966         (base64_encode_line): Ditto.
7967         (mktime_from_utc): Ditto.
7968         (http_atotm): Ditto.
7969
7970         * html.c (idmatch): Made static.
7971
7972         * host.c (search_host): Made static.
7973         (search_address): Ditto.
7974         (free_hlist): Ditto.
7975
7976         * ftp.c (getftp): Made static.
7977         (ftp_loop_internal): Ditto.
7978         (ftp_get_listing): Ditto.
7979         (ftp_retrieve_list): Ditto.
7980         (ftp_retrieve_dirs): Ditto.
7981         (ftp_retrieve_glob): Ditto.
7982         (freefileinfo): Ditto.
7983         (delelement): Ditto.
7984
7985         * ftp-ls.c (symperms): Made static.
7986         (ftp_parse_unix_ls): Ditto.
7987
7988         * connect.c (select_fd): Made static.
7989
7990         * utils.c (xmalloc): Renamed from nmalloc.
7991         (xrealloc): Renamed from nrealloc.
7992         (xstrdup): Renamed from nstrdup.
7993
7994         * getopt.c (exchange): Use alloca.
7995
7996         * mswindows.c (mycuserid): Use strncpy.
7997
7998         * New files mswindows.c, mswindows.h, sysdep.h.  winjunk.c,
7999         systhings.h, windecl.h and winjunk.h removed.
8000
8001         * mswindows.c (sleep): New function.
8002
8003         * utils.c: Include <windows.h> under Windows.
8004
8005 1997-06-12  Darko Budor  <dbudor@zesoi.fer.hr>
8006
8007         * url.h (URL_UNSAFE): Change default under Windows.
8008
8009         * retr.c (retrieve_from_file): Respect opt.delete_after.
8010
8011         * main.c (main): Call ws_help on Windows.
8012
8013         * winjunk.c (windows_main_junk): New function.
8014
8015         * main.c (main): Junk-process argv[0].
8016
8017         * http.c (mktime_from_utc): Return -1 if mktime failed.
8018
8019         * http.c (http_loop): Ditto.
8020
8021         * ftp.c (ftp_loop_internal): Change title on Windows when using a
8022         new URL.
8023
8024         * winjunk.c (getdomainname): Lots of functions.
8025
8026 1997-06-12  Hrvoje Niksic  <hniksic@srce.hr>
8027
8028         * cmpt.c (strptime_internal): Handle years more correctly for
8029         `%y'.
8030
8031 1997-06-09  Mike Thomas <mthomas@reality.ctron.com>
8032
8033         * http.c (gethttp): Allocate enough space for
8034         `Proxy-Authorization' header.
8035
8036 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
8037
8038         * version.c: Wget/1.4.5 is released.
8039
8040 1997-05-10  Hrvoje Niksic  <hniksic@srce.hr>
8041
8042         * retr.c (get_contents): Check return value of fwrite more
8043         carefully.
8044
8045 1997-03-30  Andreas Schwab  <schwab@issan.informatik.uni-dortmund.de>
8046
8047         * cmpt.c (strptime_internal) [case 'Y']: Always subtract 1900 from
8048         year, regardless of century.
8049
8050 1997-03-30  Hrvoje Niksic  <hniksic@srce.hr>
8051
8052         * utils.c (isfile): Use `lstat' instead of `stat'.
8053
8054 1997-03-29  Hrvoje Niksic  <hniksic@srce.hr>
8055
8056         * utils.c (numdigit): Use explicit test.
8057
8058 1997-03-21  Hrvoje Niksic  <hniksic@srce.hr>
8059
8060         * http.c (http_loop): Always use `url_filename' to get u->local.
8061
8062 1997-03-20  Hrvoje Niksic  <hniksic@srce.hr>
8063
8064         * url.c: Recognize https.
8065
8066 1997-03-13  Hrvoje Niksic  <hniksic@srce.hr>
8067
8068         * recur.c (recursive_retrieve): Lowercase just the host name.
8069
8070 1997-03-09  Hrvoje Niksic  <hniksic@srce.hr>
8071
8072         * url.c (get_urls_file): Use the correct test.
8073         (get_urls_html): Ditto.
8074
8075 1997-03-07  Hrvoje Niksic  <hniksic@srce.hr>
8076
8077         * connect.c: Reverted addrlen to int.
8078
8079         * init.c (parse_line): Check for -1 instead of NONE.
8080
8081         * version.c: Changed version to 1.4.5.
8082
8083 1997-02-17  Hrvoje Niksic  <hniksic@srce.hr>
8084
8085         * init.c: New option netrc.
8086         (initialize): Don't parse .netrc.
8087
8088         * cmpt.c (recursive): Return rp.
8089         (strptime_internal): Match the long strings first, the abbreviated
8090         second.
8091
8092 1997-02-16  Hrvoje Niksic  <hniksic@srce.hr>
8093
8094         * http.c (check_end): New function.
8095         (http_atotm): Use it.
8096  
8097 1997-02-13  gilles Cedoc  <gilles@cedocar.fr>
8098
8099         * http.c (gethttp): Use them.
8100
8101         * init.c: New options proxy_user and proxy_passwd.
8102
8103 1997-02-14  Hrvoje Niksic  <hniksic@srce.hr>
8104
8105         * ftp.c (ftp_retrieve_list): Create links even if not relative.
8106
8107 1997-02-10  Hrvoje Niksic  <hniksic@srce.hr>
8108
8109         * recur.c (recursive_retrieve): Lowercase the host name, if the
8110         URL is not "optimized".
8111
8112         * host.c (realhost): Return l->hostname, even if it matches with
8113         host.
8114
8115 1997-02-10  Marin Purgar  <pmc@asgard.hr>
8116
8117         * connect.c: Make addrlen size_t instead of int.
8118         (conaddr): Ditto.
8119
8120 1997-02-09  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
8121
8122         * systhings.h: Define S_ISLNK on NeXT too.
8123
8124 1997-02-09  Hrvoje Niksic  <hniksic@srce.hr>
8125
8126         * version.c: Released 1.4.3.
8127
8128         * url.c: Futher update to list of protostrings.
8129         (skip_proto): Skip `//' correctly for FTP and HTTP.
8130
8131         * url.c (get_urls_html): Handle bogus `http:' things a little
8132         different.
8133
8134         * main.c (main): Removed `follow-ftp' from `f'.
8135         (main): Dumped the `prefix-files' and `file-prefix' options and
8136         features; old and bogus.
8137         (main): Exit on failed setval() in `-e'.
8138
8139         * http.c (fetch_next_header): Use it to detect header continuation
8140         correctly.
8141
8142         * retr.c (buf_peek): New function.
8143
8144 1997-02-08  Hrvoje Niksic  <hniksic@srce.hr>
8145
8146         * wget.h: Include time.h and stuff.
8147
8148 1997-02-08  Roger Beeman  <beeman@cisco.com>
8149
8150         * ftp.c: Include <time.h>
8151
8152 1997-02-07  Hrvoje Niksic  <hniksic@srce.hr>
8153
8154         * url.c (findurl): Would read over buffer limits.
8155
8156 1997-02-06  Hrvoje Niksic  <hniksic@srce.hr>
8157
8158         * ftp-ls.c (ftp_parse_unix_ls): Allow spaces in file names.
8159
8160 1997-02-05  Hrvoje Niksic  <hniksic@srce.hr>
8161
8162         * http.c (http_atotm): Initialize tm.is_dst.
8163
8164 1997-02-02  Hrvoje Niksic  <hniksic@srce.hr>
8165
8166         * http.c (gethttp): Don't print the number of retrieved headers.
8167
8168         * main.c (main): New option `--no-clobber', alias for `-nc'.
8169
8170         * url.c: Recognize `https://'.
8171
8172 1997-02-01  Hrvoje Niksic  <hniksic@srce.hr>
8173
8174         * host.c (herrmsg): Don't use h_errno.
8175
8176 1997-01-30  Hrvoje Niksic  <hniksic@srce.hr>
8177
8178         * host.c (accept_domain): Use it.
8179
8180         * main.c (main): New option `--exclude-domains'.
8181
8182         * retr.c (retrieve_url): Use it.
8183         (retrieve_url): Bail out when an URL is redirecting to itself.
8184
8185         * url.c (url_equal): New function.
8186
8187 1997-01-29  Hrvoje Niksic  <hniksic@srce.hr>
8188
8189         * connect.c: Include arpa/inet.h instead of arpa/nameser.h.
8190
8191         * http.c (mk_utc_time): New function.
8192         (http_atotm): Use it; handle time zones correctly.
8193
8194 1997-01-28  Hrvoje Niksic  <hniksic@srce.hr>
8195
8196         * http.c: Ditto.
8197
8198         * ftp-basic.c: Use it instead of WRITE.
8199
8200         * connect.c (iwrite): New function.
8201
8202 1997-01-27  Hrvoje Niksic  <hniksic@srce.hr>
8203
8204         * cmpt.c (mktime): New function.
8205
8206         * netrc.c: Include <sys/types.h>.
8207
8208         * main.c (main): Wouldn't recognize --spider.
8209
8210         * retr.c (rate): Use `B', `KB' and `MB'.
8211         (reset_timer,elapsed_time): Moved from utils.c.
8212
8213         * ftp.c (ftp_retrieve_list): Ditto.
8214
8215         * http.c (http_loop): Don't touch the file if opt.dfp.
8216
8217 1997-01-24  Hrvoje Niksic  <hniksic@srce.hr>
8218
8219         * cmpt.c: New file.
8220
8221         * ftp.c (ftp_retrieve_glob): New argument semantics.
8222         (ftp_retrieve_dirs): Use it.
8223         (ftp_loop): Ditto.
8224
8225         * html.c (htmlfindurl): Recognize `'' as the quote char.
8226
8227 1997-01-23  Hrvoje Niksic  <hniksic@srce.hr>
8228
8229         * ftp.c (ftp_loop_internal): Use it.
8230
8231         * utils.c (remove_link): New function.
8232
8233 1997-01-22  Hrvoje Niksic  <hniksic@srce.hr>
8234
8235         * retr.c (retrieve_url): Require STRICT redirection URL.
8236
8237         * url.c (parseurl): New argument STRICT.
8238
8239         * http.c (hparsestatline): Be a little-bit less strict about
8240         status line format.
8241
8242 1997-01-21  Hrvoje Niksic  <hniksic@srce.hr>
8243
8244         * http.c (gethttp): Use it.
8245
8246         * main.c (main): Don't use '<digit>' as options.
8247
8248         * init.c: New option ignore_length.
8249
8250         * http.c (gethttp): Ditto.
8251         (http_loop): Check for redirection without Location:.
8252         (gethttp): Don't print Length unless RETROKF.
8253
8254         * ftp.c (getftp): Use it.
8255
8256         * url.c (mkalldirs): New function.
8257
8258         * utils.c (mymkdir): Don't check for existing non-directory.
8259
8260         * url.c (mkstruct): Don't create the directory.
8261
8262 1997-01-20  Hrvoje Niksic  <hniksic@srce.hr>
8263
8264         * init.c (setval): Removed NO_RECURSION checks.
8265
8266 1997-01-19  Hrvoje Niksic  <hniksic@srce.hr>
8267
8268         * version.c: "Released" 1.4.3-pre2.
8269
8270         * recur.c (recursive_retrieve): Bypass host checking only if URL
8271         is ftp AND parent URL is not ftp.
8272
8273         * ftp-basic.c (ftp_request): Print out Turtle Power.
8274
8275         * ftp.c (ftp_loop): Call ftp_retrieve_glob with 0 if there's no
8276         wildcard.
8277         (ftp_retrieve_glob): Call ftp_loop_internal even on empty list, if
8278         not glob.
8279
8280         * http.c (gethttp): Be a little bit smarter about status codes.
8281
8282         * recur.c (recursive_retrieve): Always reset opt.recursive when
8283         dealing with FTP.
8284
8285 1997-01-18  Hrvoje Niksic  <hniksic@srce.hr>
8286
8287         * retr.c (retrieve_url): New variable location_changed; use it for
8288         tests instead of mynewloc.
8289         (retrieve_url): Allow heuristic adding of html.
8290
8291         * url.c (url_filename): Don't use the `%' in Windows file names.
8292
8293         * http.c (http_loop): Always time-stamp the local file.
8294
8295         * http.c (http_loop): Ditto.
8296
8297         * ftp.c (ftp_retrieve_list): Use it.
8298
8299         * utils.c (my_touch): New function.
8300
8301         * ftp.c (ftp_retrieve_list): Use #ifdef HAVE_STRUCT_UTIMBUF
8302         instead of #ifndef NeXT.
8303
8304         * utils.c (strptime): New version, by Ulrich Drepper.
8305
8306 1997-01-17  Hrvoje Niksic  <hniksic@srce.hr>
8307
8308         * http.c (haccepts_none): Renamed from `haccepts_bytes'.
8309         (gethttp): If haccepts_none(), disable ACCEPTRANGES.
8310         (http_loop): Would remove ACCEPTRANGES.
8311
8312         * ftp.c (getftp): Call ftp_list with NULL.
8313
8314 1997-01-15  Hrvoje Niksic  <hniksic@srce.hr>
8315
8316         * html.c (ftp_index): Don't print minutes and seconds if we don't
8317         know them; beautify the output.
8318
8319         * ftp.c (getftp): Don't close the socket on FTPNSFOD.
8320
8321 1997-01-14  Hrvoje Niksic  <hniksic@srce.hr>
8322
8323         * utils.c (strptime): New function.
8324         (strptime): Don't use get_alt_number.
8325         (strptime): Don't use locale.
8326         (match_string): Made it a function.
8327
8328 1997-01-12  Hrvoje Niksic  <hniksic@srce.hr>
8329
8330         * http.c (http_atotm): New function.
8331         (http_loop): Use it.
8332
8333         * atotm.c: Removed from the distribution.
8334
8335         * http.c (base64_encode_line): Rewrite.
8336
8337 1997-01-09  Hrvoje Niksic  <hniksic@srce.hr>
8338
8339         * ftp.c (getftp): Use ftp_expected_bytes; print size.
8340
8341         * ftp-basic.c (ftp_response): Use ftp_last_respline.
8342         (ftp_expected_bytes): New function.
8343
8344         * ftp.c (getftp): Print the unauthoritative file length.
8345
8346         * ftp-ls.c: Renamed from ftp-unix.c.
8347         (ftp_parse_ls): Moved from ftp.c.
8348         (ftp_parse_unix_ls): Recognize seconds in time spec.
8349         (ftp_parse_unix_ls): Recognize year-less dates of the previous
8350         year.
8351
8352 1997-01-08  Hrvoje Niksic  <hniksic@srce.hr>
8353
8354         * ftp-basic.c: Don't declare errno if #defined.
8355
8356         * host.c (ftp_getaddress): Check for sysinfo legally.
8357
8358 1997-01-08  Darko Budor  <dbudor@diana.zems.fer.hr>
8359
8360         * connect.c (iread): Use READ.
8361
8362 1996-12-23  Hrvoje Niksic  <hniksic@srce.hr>
8363
8364         * url.c: Recognize finger, rlogin, tn3270, mid and cid as valid
8365         schemes.
8366
8367 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
8368
8369         * host.c (ftp_getaddress): Allow `.' in hostname.
8370
8371 1996-12-26  Darko Budor <dbudor@zems.fer.hr>
8372
8373         * wget.h: READ and WRITE macros for use instead of read and write
8374         on sockets, grep READ *.c, grep WRITE *.c
8375
8376         * wsstartup.c: new file - startup for winsock
8377
8378         * wsstartup.h: new file
8379
8380         * win32decl.h: new file - fixup for <errno.h> and winsock trouble
8381
8382         * configure.bat: Configure utility for MSVC
8383
8384         * src/Makefile.ms,config.h.ms: new files for use with MSVC 4.x
8385
8386 1996-12-22  Hrvoje Niksic  <hniksic@srce.hr>
8387
8388         * version.c: Released 1.4.3-pre.
8389
8390         * utils.c (prnum): Accept long.
8391         (legible): Use prnum().
8392
8393         * connect.c (make_connection): Accept port as short.
8394         (bindport): Ditto.
8395
8396         * http.c (gethttp): Use search_netrc.
8397
8398 1996-12-21  Hrvoje Niksic  <hniksic@srce.hr>
8399
8400         * ftp.c (getftp): Use search_netrc.
8401
8402         * netrc.c (free_netrc): New function.
8403
8404         * init.c (home_dir): New function.
8405
8406         * url.c (convert_links): Allow REL2ABS changes.
8407
8408 1996-12-21  Gordon Matzigkeit  <gord@gnu.ai.mit.edu>
8409
8410         * netrc.c: New file.
8411         (parse_netrc, maybe_add_to_list): New functions.
8412
8413 1996-12-17  Hrvoje Niksic  <hniksic@srce.hr>
8414
8415         * retr.c (retrieve_url): Reset opt.recursion before calling
8416         ftp_loop if it is reached through newloc.
8417
8418         * init.c (run_wgetrc): Print the wgetrc path too, when reporting
8419         error; don't use "Syntax error", since we don't know if it is
8420         really a syntax error.
8421
8422 1996-12-16  Hrvoje Niksic  <hniksic@srce.hr>
8423
8424         * utils.c (acceptable): Extract the filename part of the path.
8425
8426         * recur.c (recursive_retrieve): Call acceptable() with the right
8427         argument; would bug out on wildcards.
8428
8429         * init.c (parse_line): Likewise.
8430
8431         * html.c (htmlfindurl): Cast to char * when calling stuff.
8432
8433 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
8434
8435         * ftp.c (getftp): Use ftp_pasv.
8436
8437         * ftp-basic.c (ftp_request): Accept NULL value.
8438         (ftp_pasv): New function.
8439
8440         * options.h (struct options): Add passive FTP option.
8441
8442 1996-12-15  Hrvoje Niksic  <hniksic@srce.hr>
8443
8444         * url.c (parseurl): Debug output.
8445
8446         * utils.c (path_simplify): New one, adapted from bash's
8447         canonicalize_pathname().
8448
8449 1996-12-14  Hrvoje Niksic  <hniksic@srce.hr>
8450
8451         * ftp.c (getftp): Don't discard the buffer.
8452
8453         * retr.c (get_contents): New parameter nobuf.
8454
8455 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
8456
8457         * html.c (htmlfindurl): Recognize <meta contents="d; URL=...".
8458
8459         * init.c (setval): Strip the trailing slashes on CVECDIR.
8460
8461 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
8462
8463         * init.c: Make excludes and includes under CVECDIR instead of
8464         CVEC.
8465
8466 1996-12-13  Shawn McHorse  <riffraff@txdirect.net>
8467
8468         * url.c (get_urls_html): Skip "http:".
8469
8470 1996-12-13  Hrvoje Niksic  <hniksic@srce.hr>
8471
8472         * utils.c (strcasecmp): From glibc.
8473         (strncasecmp): Also.
8474         (strstr): Also.
8475
8476         * url.c: Added javascript: to the list of URLs prefixes.
8477
8478 1996-12-12  Shawn McHorse  <riffraff@txdirect.net>
8479
8480         * recur.c (retrieve_robots): Print the warning message only if
8481         verbose.
8482
8483 1996-12-12  Gregor Hoffleit  <flight@mathi.uni-heidelberg.DE>
8484
8485         * ftp.c (ftp_retrieve_list): Use NeXT old utime interface.
8486
8487 1996-12-12  Hrvoje Niksic  <hniksic@srce.hr>
8488
8489         * systhings.h: New file.
8490
8491         * ../configure.in: Check for utime.h
8492
8493         * ftp.c: Check whether we have unistd.h.
8494
8495 1996-11-27  Hrvoje Niksic  <hniksic@srce.hr>
8496
8497         * recur.c (recursive_retrieve): Send the canonical URL as referer.
8498         (recursive_retrieve): Call get_urls_html with the canonical URL.
8499
8500 1996-12-13  Kaveh R. Ghazi  <ghazi@caip.rutgers.edu>
8501
8502         * (configure.in, config.h.in, src/Makefile.in, src/*.[ch]): Add
8503         ansi2knr support for compilers which don't support ANSI style
8504         function prototypes and signatures.
8505
8506         * (aclocal.m4, src/ansi2knr.c, src/ansi2knr.1): New files.
8507
8508 1996-11-26  Hrvoje Niksic  <hniksic@srce.hr>
8509
8510         * url.c: Use it; Recognize paths ending with "." and ".." as
8511         directories.
8512         (url_filename): Append .n whenever file exists and could be a
8513         directory.
8514
8515         * url.h (ISDDOT): New macro.
8516
8517         * init.c (parse_line): Use unsigned char.
8518
8519         * url.c (get_urls_html): Cast to unsigned char * when calling
8520         htmlfindurl.
8521
8522         * html.c (htmlfindurl): Use unsigned char.
8523
8524         * version.c: Changed version to 1.4.3.
8525
8526 1996-11-25  Hrvoje Niksic  <hniksic@srce.hr>
8527
8528         * version.c: Released 1.4.2.
8529
8530         * ftp.c (getftp): Simplified assertion.
8531         (ftp_loop_internal): Remove symlink before downloading.
8532         (ftp_retrieve_list): Unlink the symlink name before attempting to
8533         create a symlink!
8534
8535         * options.h (struct options): Renamed print_server_response to
8536         server_response.
8537
8538         * ftp.c (rel_constr): Removed.
8539         (ftp_retrieve_list): Don't use it.
8540         (ftp_retrieve_list): Use opt.retr_symlinks.
8541
8542 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
8543
8544         * main.c (main): New option retr_symlinks.
8545
8546         * url.c (convert_links): Print verbose message.
8547
8548 1996-11-24  Hrvoje Niksic  <hniksic@srce.hr>
8549
8550         * http.c (http_loop): Reset newloc in the beginning of function;
8551         would cause FMR in retrieve_url.
8552
8553 1996-11-23  Hrvoje Niksic  <hniksic@srce.hr>
8554
8555         * recur.c (convert_all_links): Find the URL of each HTML document,
8556         and feed it to get_urls_html; would bug out.
8557         (convert_all_links): Check for l2 instead of dl; removed dl.
8558
8559         * url.c (convert_links): Don't refer to freed newname.
8560
8561         * recur.c (recursive_retrieve): Add this_url to urls_downloaded.
8562
8563         * main.c (main): Print the OS_TYPE in the debug output, too.
8564
8565         * recur.c (recursive_retrieve): Check for opt.delete_after.
8566
8567         * main.c (main): New option delete-after.
8568
8569         * init.c (setval): Cleaned up.
8570
8571 1996-11-21  Hrvoje Niksic  <hniksic@srce.hr>
8572
8573         * Makefile.in (wget): Make `wget' the default target.
8574
8575         * ftp.c (ftp_loop_internal): Move noclobber checking out of the
8576         loop.
8577         (ftp_retrieve_list): Warn about non-matching sizes.
8578
8579         * http.c (http_loop): Made -nc non-dependent on opt.recursive.
8580
8581         * init.c (setnum): Renamed from setnuminf; New argument flags.
8582         (setval): Use it.
8583
8584         * main.c (main): Sorted the options.
8585         (main): New option --wait.
8586
8587 1996-11-21  Shawn McHorse  <riffraff@txdirect.net>
8588
8589         * html.c (htmlfindurl): Reset s->in_quote after getting out of
8590         quotes.
8591
8592 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
8593
8594         * version.c: Changed version to 1.4.2.
8595
8596 1996-11-20  Hrvoje Niksic  <hniksic@srce.hr>
8597
8598         * version.c: Released 1.4.1.
8599
8600         * html.c (html_quote_string): New function.
8601         (ftp_index): Use it.
8602         (htmlfindurl): A more gentle ending debug message.
8603
8604         * ftp.c (ftp_loop): Check for opt.htmlify.
8605
8606         * init.c: New command htmlify.
8607
8608         * ftp.c (getftp): Nicer error messages, with `'-encapsulated
8609         strings.
8610         (ftp_loop): Print size of index.html.
8611
8612         * init.c (setval): Implement "styles".
8613
8614         * main.c (main): New option dotstyle.
8615
8616 1996-11-19  Hrvoje Niksic  <hniksic@srce.hr>
8617
8618         * ftp.c (getftp): Close the master socket in case of errors, after
8619         bindport().
8620
8621         * connect.c (bindport): Initialize msock to -1.
8622
8623         * ftp.c (getftp): Initialize dtsock to -1.
8624
8625         * connect.c (closeport): Don't close sock if sock == -1.
8626
8627 1996-11-18  Hrvoje Niksic  <hniksic@srce.hr>
8628
8629         * init.c (setnuminf): Nuked default value -- just leave unchanged.
8630         (setval): Don't send default values.
8631         (defaults): Use DEFAULT_TIMEOUT -- aaargh.
8632
8633         * options.h (struct options): Use long for dot_bytes.
8634
8635         * init.c (setquota): Renamed to setbytes.
8636         (setval): Use setbytes on DOTBYTES.
8637
8638 1996-11-17  Hrvoje Niksic  <hniksic@srce.hr>
8639
8640         * ftp.c (getftp): Initialize con->dltime.
8641
8642         * recur.c (recursive_retrieve): Use same_host instead of
8643         try_robots; simply load robots_txt whenever the host is changed.
8644         (recursive_retrieve): Free forbidden before calling parse_robots.
8645
8646 1996-11-16  Hrvoje Niksic  <hniksic@srce.hr>
8647
8648         * retr.c (show_progress): Use them.
8649
8650         * options.h (struct options): New options dot_bytes, dots_on_line
8651         and dot_spacing.
8652
8653 1996-11-16  Mark Boyns  <boyns@sdsu.edu>
8654
8655         * recur.c (recursive_retrieve): Retrieve directories regardless of
8656         acc/rej rules; check for empty u->file.
8657
8658 1996-11-14  Hrvoje Niksic  <hniksic@srce.hr>
8659
8660         * init.c (setval): Use it.
8661
8662         * utils.c (merge_vecs): New function.
8663
8664         * init.c (setval): Reset the list-type functions when encountering
8665         "".
8666
8667 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
8668
8669         * recur.c (recursive_retrieve): Use base_url instead of this_url
8670         for no_parent.
8671
8672 1996-11-14  Shawn McHorse  <riffraff@txdirect.net>
8673
8674         * html.c (htmlfindurl): Reset s->in_quote after exiting the quote.
8675
8676 1996-11-13  Hrvoje Niksic  <hniksic@srce.hr>
8677
8678         * utils.c (sepstring): Rewrote; don't use strtok.
8679
8680         * recur.c (recursive_retrieve): Enter assorted this_url to slist
8681         when running the first time.
8682         (retrieve_robots): Warn to ignore errors when robots are loaded.
8683
8684         * utils.c (load_file): Moved from url.c.
8685
8686         * http.c: Made static variables const too in h* functions.
8687
8688         * main.c (main): Renamed --continue-ftp to --continue.
8689
8690         * recur.c (recursive_retrieve): Use it.
8691
8692         * utils.c (frontcmp): New function.
8693
8694         * url.c (accdir): New function.
8695
8696         * html.c (htmlfindurl): Recognize <area href=...>.
8697
8698         * ftp.c (ftp_retrieve_dirs): Implemented opt.includes.
8699
8700         * init.c (setval): Free the existing opt.excludes and
8701         opt.includes, if available.
8702
8703         * main.c (main): New option -I.
8704
8705 1996-11-12  Hrvoje Niksic  <hniksic@srce.hr>
8706
8707         * ftp.c (ftp_retrieve_glob): Do not weed out directories.
8708
8709         * version.c: Changed version to 1.4.1.
8710
8711 1996-11-11  Hrvoje Niksic  <hniksic@srce.hr>
8712
8713         * version.c: Released 1.4.0.
8714
8715 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
8716
8717         * main.c (main): Free com and val after parse_line.
8718         (printhelp): Reorder the listing.
8719
8720         * http.c: More robust header parsing.
8721
8722         * http.c: Allow any number of spaces, or no spaces, precede ':'.
8723         (hskip_lws): New function.
8724         (haccepts_bytes): New function.
8725         (gethttp): Use it.
8726
8727         * init.c (setval): Check header sanity.
8728         (setval): Allow resetting of headers.
8729
8730 1996-11-10  Hrvoje Niksic  <hniksic@srce.hr>
8731
8732         * http.c (http_loop): Don't use has_wildcards.
8733
8734         * http.c (gethttp): Free all_headers -- would leak.
8735
8736         * recur.c (recursive_retrieve): Initialize depth to 1 instead of
8737         0 -- this fixes a long-standing bug in -rl.
8738
8739 1996-11-09  Hrvoje Niksic  <hniksic@srce.hr>
8740
8741         * ftp.c: Use -1 as "impossible" value for con->fd.
8742
8743         * url.h (URL_SEPARATOR): Don't treat `*' and `+' as separators.
8744
8745         * init.c (parse_line): Use isalpha.
8746
8747         * ftp-unix.c: Use HAVE_UNISTD_H.
8748
8749         * mtch.c (has_wildcards): Don't match \.
8750
8751         * http.c (http_loop): Warn on HTTP wildcard usage.
8752
8753 1996-11-08  Hrvoje Niksic  <hniksic@srce.hr>
8754
8755         * url.c (url_filename): Do not create numbered suffixes if
8756         opt.noclobber -- would bug out on -nc.
8757
8758 1996-11-07  Hrvoje Niksic  <hniksic@srce.hr>
8759
8760         * recur.c (parse_robots): Don't chuck out the commands without
8761         arguments (`Disallow:<empty>' didn't work).
8762         (parse_robots): Compare versions lowercase.
8763         (parse_robots): Match on base_version, not version_string!
8764         (parse_robots): Handle comments properly.
8765         (parse_robots): Match versions in a sane way.
8766
8767         * init.c: Print nicer error messages.
8768
8769         * version.c: Changed version to 1.4.0.
8770
8771 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
8772
8773         * version.c: Released 1.4.0-test2.
8774
8775         * init.c (run_wgetrc): Close fp.
8776
8777         * ftp.c (ftp_retrieve_dirs): Allocate the correct length for
8778         u->dir.
8779
8780 1996-11-06  Hrvoje Niksic  <hniksic@srce.hr>
8781
8782         * init.c (setquota): Allow inf as quota specification.
8783
8784 1996-11-05  Hrvoje Niksic  <hniksic@srce.hr>
8785
8786         * ftp.c (ftp_retrieve_dirs): Return QUOTEXC if quota exceeded.
8787         (ftp_retrieve_glob): Return QUOTEXC on quota exceeded.
8788
8789         * main.c (main): Check for quota by comparison with downloaded
8790         stuff, not from status.
8791
8792         * connect.c (select_fd): Should compile on HPUX without warnings now.
8793
8794         * ftp.c (ftp_get_listing): Check whether ftp_loop_internal
8795         returned RETROK.
8796
8797 1996-11-04  Hrvoje Niksic  <hniksic@srce.hr>
8798
8799         * ftp.c (ftp_retrieve_glob): Print the pattern nicely.
8800         (getftp): Return FTPRETRINT on control connection error.
8801
8802         * html.c (htmlfindurl): Recognize <embed src=...> and
8803         <bgsound src=...>.
8804         (ftp_index): Handle username and password correctly.
8805
8806         * main.c (main): Made `-np' a synonim for --no-parent.
8807
8808 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
8809
8810         * ftp.c (ftp_loop): Check for opt.ftp_glob too before calling
8811         ftp_retrieve_glob.
8812
8813         * version.c: Changed version to 1.4.0-test2.
8814
8815 1996-11-02  Hrvoje Niksic  <hniksic@srce.hr>
8816
8817         * version.c: Released 1.4.0-test1.
8818
8819         * url.c (str_url): Don't use sprintf when creating %2F-prefixed
8820         directory.
8821         (convert_links): Removed definition of make_backup.
8822
8823         * http.h: Removed definition of MAX_ERROR_LENGTH.
8824
8825         * host.c (ftp_getaddress): Check for "(none)" domains.
8826
8827         * ftp.c (ftp_retrieve_dirs): Docfix.
8828
8829         * http.c (gethttp): Use ou->referer instead of u->referer.
8830
8831         * retr.c (retrieve_url): Reset u to avoid freeing pointers twice;
8832         this was known to cause coredumps on Linux.
8833
8834         * html.c (ftp_index): Cast the argument to local_time to time_t *.
8835
8836 1996-11-01  Hrvoje Niksic  <hniksic@srce.hr>
8837
8838         * connect.c (select_fd): Use exceptfds -- once and for all.
8839
8840         * retr.c (retrieve_from_file): Free filename after
8841         recursive_retrieve.
8842         (retrieve_from_file): Send RFIRST_TIME to recursive_retrieve on
8843         first-time retrieval.
8844         (retrieve_from_file): Return uerr_t; new argument, count.
8845         (retrieve_from_file): Break on QUOTEXC.
8846
8847         * init.c (setquota): Fixed a bug that caused rejection of
8848         non-postfixed values..
8849
8850 1996-10-30  Hrvoje Niksic  <hniksic@srce.hr>
8851
8852         * version.c: Changed name to wget.
8853
8854         * connect.c (iread): Smarter use of select.
8855         (select_fd): Set errno on timeout.  If not timeout, return 1
8856         instead of 0.
8857
8858 1996-10-29  Hrvoje Niksic  <hniksic@srce.hr>
8859
8860         * ftp.c (ftp_loop_internal): Don't use con->cmd before
8861         establishing it.
8862
8863 1996-10-26  Hrvoje Niksic  <hniksic@srce.hr>
8864
8865         * http.c (gethttp): Send correct referer when using proxy.
8866         (gethttp): Use struct urlinfo ou to access the relevant data; send
8867         correct authorization in all cases.
8868
8869         * host.c (same_host): Use skip_uname to skip username and
8870         password.
8871
8872         * url.c (skip_uname): New function.
8873         (parseurl): Use it.
8874
8875         * host.c (same_host): Do not assume HTTP -- same_host should now
8876         be totally foolproof.
8877
8878         * url.c (skip_proto): New function.
8879         (parse_uname): Use it.
8880
8881         * http.c (gethttp): Create local user and passwd from what is
8882         given.
8883
8884         * url.c (parseurl): Check for HTTP username and password too.
8885
8886 1996-10-25  Hrvoje Niksic  <hniksic@srce.hr>
8887
8888         * config.h.in: Removed #define gethostbyname R...
8889
8890 1996-10-22  Hrvoje Niksic  <hniksic@srce.hr>
8891
8892         * version.c: Changed version to 1.4.0-test1.
8893
8894 1996-10-21  Hrvoje Niksic  <hniksic@srce.hr>
8895
8896         * version.c: "Released" 1.4b29.
8897
8898         * recur.c (recursive_retrieve): Check for no_parent.
8899
8900         * init.c (setval): Option update.
8901
8902         * main.c (main): New option no-parent.
8903
8904         * options.h (struct options): New variable no_parent.
8905
8906         * recur.c (recursive_retrieve): Only files are checked for
8907         opt.accepts and opt.rejects.
8908         (recursive_retrieve): Check directories for opt.excludes.
8909         (recursive_retrieve): Make the dir absolute when checking
8910         opt.excludes.
8911
8912         * html.c (htmlfindurl): Recognize <applet code=...> and <script
8913         src=...>
8914
8915 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
8916
8917         * ftp.c (getftp): Do not line-break assert entries at all.
8918         (ftp_retrieve_dirs): docfix.
8919
8920         * connect.c (select_fd): Use fd + 1 as nfds.
8921
8922         * version.c: Changed version to 1.4b29.
8923
8924 1996-10-18  Hrvoje Niksic  <hniksic@srce.hr>
8925
8926         * version.c: "Released" 1.4b28.
8927
8928         * ftp.c (ftp_loop_internal): Check whether f->size == len and
8929         don't continue the loop if it is.
8930         (ftp_get_listing): Remove list_filename on unsuccesful loop.
8931
8932 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
8933
8934         * ftp.c (ftp_loop_internal): Use strcpy to initialize tmp.
8935         (getftp): Do not use multiline assert.
8936
8937         * http.c (hparsestatline): Use mjr and mnr instead of major and
8938         minor, which don't compile on Ultrix.
8939         (http_loop): Use strcpy() to initialize tmp.
8940
8941         * all: Geturl -> Fetch
8942
8943 1996-10-17  Hrvoje Niksic  <hniksic@srce.hr>
8944
8945         * recur.c (parse_robots): Fixed an off-by-one bug when looking for
8946         ':'.
8947
8948         * html.c (htmlfindurl): Fixed several possible off-by-one bugs by
8949         moving `bufsize &&' to the beginning of each check in for-loops.
8950
8951         * recur.c (parse_robots): Close fp on exit.
8952
8953         * url.c (mymkdir): Check for each directory before creating.
8954
8955 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
8956
8957         * version.c: Changed version to 1.4b28.
8958
8959 1996-10-16  Hrvoje Niksic  <hniksic@srce.hr>
8960
8961         * version.c: "Released" 1.4b27.
8962
8963         * init.c (parse_line): Use isspace.
8964         (parse_line): Free *com on all errors.
8965
8966         * ftp.c (ftp_loop): Change FTPOK to RETROK before exiting.
8967         (delelement): Use next instead of f->next and prev instead of
8968         f->prev.
8969         (delelement): Free the members of the deleted element.
8970
8971         * http.c (http_loop): Do not return RETROK on code != 20x.
8972
8973         * init.c (cleanup): Free opt.user_header.
8974         (cleanup): Free opt.domains.
8975
8976         * url.c (freelists): Moved to cleanup().
8977
8978         * http.c (hparsestatline): Docfix.
8979
8980         * main.c (main): Return with error status on unsuccesful
8981         retrieval.
8982
8983         * init.c (setval): Do not remove listing when mirroring.
8984
8985         * url.c (url_filename): Use opt.fileprefix.
8986
8987         * ftp.c (ftp_get_listing): Use url_filename to get filename for
8988         .listing.
8989
8990         * main.c (main): New option: -rn.
8991
8992 1996-10-15  Hrvoje Niksic  <hniksic@srce.hr>
8993
8994         * Makefile.in (RM): Added RM = rm -f.
8995
8996         * host.c (clean_hosts): New function.
8997         (free_hlist): Just free the list, no reset.
8998
8999         * version.c: Changed version to 1.4b27.
9000
9001 1996-10-13  Hrvoje Niksic  <hniksic@srce.hr>
9002
9003         * version.c: "Released" 1.4b26.
9004
9005         * retr.c (retrieve_from_file): If call get_urls_html with
9006         opt.spider to make it silent in spider mode.
9007
9008         * url.c (str_url): Use CLEANDUP instead of URL_CLEANSE.
9009
9010         * url.h (CLEANDUP): New macro.
9011
9012         * http.c (gethttp): Fixed a bug that freed location only when it
9013         was NULL.
9014
9015         * retr.c (retrieve_url): Free url if it will not be stored,
9016         i.e. newloc is NULL.
9017
9018         * html.c (htmlfindurl): Handle exiting from quotes correctly; the
9019         old version would bug out on <a href="x#a"href="y">.
9020
9021         * html.h (state_t): New member in_quote.
9022
9023         * html.c (htmlfindurl): Free s->attr at the beginning of
9024         attr-loop.
9025
9026         * recur.c (recursive_retrieve): Recognize RCLEANUP.
9027         (tried_robots): Make hosts a global variable.
9028         (recursive_retrieve): Free constr after URL host optimization.
9029         (tried_robots): Free urlinfo before exiting.
9030
9031         * utils.c (free_slist): New function.
9032
9033         * recur.c (recursive_retrieve): Use flags to add cleanup
9034         possibility.
9035
9036         * main.c (main): Free filename after recursive_retrieve.
9037
9038         * http.c (gethttp): Store successful responses too.
9039
9040 1996-10-12  Hrvoje Niksic  <hniksic@srce.hr>
9041
9042         * all: Constified the whole source.  This required some minor
9043         changes in many functions in url.c, possibly introducing bugs -- I
9044         hope not.
9045
9046         * ftp-basic.c: Removed last_respline.
9047
9048         * http.c (gethttp): Free type.
9049
9050         * host.c (same_host): Free real1 and real2.
9051
9052         * main.c (main): New option --spider.
9053
9054         * retr.c (get_contents): Don't reset errno.
9055
9056         * main.c (main): Sorted the options.
9057
9058         * connect.c (iread): Set errno to ETIMEDOUT only if it was left
9059         uninitialized by select().
9060
9061         * http.c (http_loop): Print the time when the connection is
9062         closed.
9063         (gethttp): Debug-print the HTTP request.
9064
9065 1996-10-11  Hrvoje Niksic  <hniksic@srce.hr>
9066
9067         * connect.c (iread): Do not try reading after timeout.
9068
9069         * main.c (main): Would bug out on -T.
9070
9071         * connect.c (select_fd): Do not use exceptfds.
9072         (iread): Set ETIMEDOUT on select_fd <= 0.
9073
9074         * version.c: Changed version to 1.4b26.
9075
9076 1996-10-10  Hrvoje Niksic  <hniksic@srce.hr>
9077
9078         * version.c: "Released" 1.4b25.
9079
9080         * ftp-unix.c (ftp_parse_unix_ls): Ignore lines without file name
9081         or link name.
9082
9083         * http.c (gethttp): Add errcode to struct hstat.
9084         (http_loop): Use it.
9085
9086         * url.c (no_proxy_match): Simplify using char** for no_proxy.
9087
9088         * options.h (struct options): Make opt.no_proxy a vector.
9089
9090         * utils.c (sepstring): Use !*s instead of !strlen(s).
9091
9092         * init.c (setval): Set opt.maxreclevel to 0 on --mirror.
9093         (getperms): Use ISODIGIT instead of isdigit.
9094
9095         * ftp.c (getftp): Print time.
9096
9097         * main.c (main): Use legible output of downloaded quantity.
9098
9099         * ftp.c (getftp): Use elapsed_time().
9100         (ftp_loop_internal): Use rate().
9101
9102         * http.c (http_loop): Add download ratio output; Use rate().
9103
9104         * utils.c (rate): New function.
9105
9106 1996-10-09  Hrvoje Niksic  <hniksic@srce.hr>
9107
9108         * http.c (http_loop): Use timer.
9109
9110         * ftp.c: Split to ftp-basic.c and ftp.c
9111
9112         * utils.c (reset_timer): New function.
9113         (elapsed_time): New function.
9114
9115         * retr.c (show_progress): Make bytes_in_line and offs long; should
9116         work on 16-bit machines.
9117
9118 1996-10-08  Hrvoje Niksic  <hniksic@srce.hr>
9119
9120         * url.c (in_acclist): New argument backward.
9121
9122         * ftp.c (ftp_retrieve_glob): Use acceptable() to determine whether
9123         a file should be retrieved according to suffix.
9124         (ftp_get_listing): Check the return value of unlink; Do not call
9125         ftp_retrieve_dirs if depth reached maxreclevel.
9126         (ftp_retrieve_dirs): Check whether the directory is in
9127         exclude-list.
9128
9129         * main.c (main): Print the version number at the beginning of
9130         DEBUG output.
9131         (main): Use strrchr when creating exec_name.
9132
9133         * ftp.c (ftp_retrieve_glob): Do not close control connection.
9134
9135         * version.c: Changed version to 1.4b25.
9136
9137 1996-10-07  Hrvoje Niksic  <hniksic@srce.hr>
9138
9139         * version.c: "Released" 1.4b24.
9140
9141         * Makefile.in: Rewrite.
9142
9143         * ftp.c (ftp_loop_internal): Likewise.
9144
9145         * retr.c (time_str): Check for failed time().
9146
9147         * html.c (htmlfindurl): Recognize <fig src> and <overlay src> from
9148         HTML3.0.
9149
9150         * retr.c (time_str): Return time_t *.
9151
9152         * connect.c (bindport): Close msock on unsuccesful bind.
9153         (bindport): The same for getsockname and listen.
9154
9155         * retr.c (retrieve_url): Allow any number of retries on
9156         proxy.
9157
9158         * http.c (gethttp): Do not treat errno == 0 as timeout.
9159         (http_loop): Likewise.
9160         (http_loop): Cosmetic changes.
9161
9162         * connect.c (iread): Set errno to ETIMEDOUT in case of timeout.
9163
9164         * retr.c (get_contents): Reset errno.
9165
9166         * ftp.c (getftp): Minor fixes.
9167
9168 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
9169
9170         * http.c: Do not use backups.
9171
9172         * geturl.1 (WARNING): Warn that man-page could be obsolete.
9173
9174         * getopt.c (getopt_long): Moved to getopt.c
9175
9176         * geturl.texi: Enhanced.
9177
9178         * main.c (main): Use it.
9179
9180         * recur.c (convert_all_links): New function.
9181
9182         * utils.c (add_slist): New argument flags.
9183
9184         * recur.c (recursive_retrieve): Update a list of downloaded URLs.
9185         (parse_robots): Do not chuck out empty value fields.
9186         (parse_robots): Make yourself welcome on empty Disallow.
9187
9188         * version.c: Changed version to 1.4b24.
9189
9190 1996-10-06  Hrvoje Niksic  <hniksic@srce.hr>
9191
9192         * version.c: "Released" 1.4b23.
9193
9194         * ftp.c (ftp_loop_internal): Get the time after getftp.
9195
9196         * Makefile.in (install.info): New target.
9197         (install): Use it.
9198
9199         * http.c (http_loop): Fix output when doing -O.
9200
9201 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
9202
9203         * geturl.texi: New file.
9204
9205         * main.c (main): Do not print the warnings and download summary if
9206         opt.quiet is set.
9207
9208         * version.c: Changed version to 1.4b23.
9209
9210 1996-10-05  Hrvoje Niksic  <hniksic@srce.hr>
9211
9212         * "Released" 1.4b22.
9213
9214         * atotm.c (atotm): Use True and False instead of TRUE and FALSE,
9215         to avoid redefinition warnings.
9216
9217         * host.c (store_hostaddress): Use memcpy() to copy the address
9218         returned by inet_addr.
9219
9220         * version.c: Changed version to 1.4b22.
9221
9222 1996-10-04  Hrvoje Niksic  <hniksic@srce.hr>
9223
9224         * version.c: "Released" 1.4b21.
9225
9226         * ftp-unix.c (ftp_parse_ls): Renamed to ftp_parse_unix_ls.
9227
9228         * ftp.c (ftp_port): Use conaddr.
9229         (getftp): Print the file length.
9230         (ftp_retrieve_list): Check the stamps of plain files only.
9231
9232         * connect.c (closeport): Do not call shutdown().
9233         (conaddr): New function.
9234
9235         * html.c (ftp_index): Made it dfp-aware.
9236
9237         * init.c (cleanup): New name of freemem. Close opt.dfp.
9238
9239         * ftp.c (getftp): Use opt.dfp if it is set.
9240
9241         * ftp-unix.c (ftp_parse_ls): Recognize time in h:mm format.
9242
9243         * ftp.c (ftp_retrieve_dirs): Fixed a bug that caused incorrect
9244         CWDs to be sent with recursive FTP retrievals.
9245
9246 1996-10-03  Hrvoje Niksic  <hniksic@srce.hr>
9247
9248         * recur.c (parse_robots): Made it more compliant with "official"
9249         specifications.
9250
9251         * http.c: New function.
9252
9253         * ftp-unix.c (ftp_parse_ls): Added better debug output.
9254
9255         * ftp.c (getftp): Print out the LIST in case of
9256         opt.print_server_response.
9257
9258         * version.c: Changed version to 1.4b21.
9259
9260 1996-10-01  Hrvoje Niksic  <hniksic@srce.hr>
9261
9262         * version.c: "Released" 1.4b20.
9263
9264         * README: Update.
9265
9266         * http.c (gethttp): Preset lengths of various headers instead of
9267         calculating them dynamically.
9268         (gethttp): Check for 206 partial contents.
9269
9270 1996-09-30  Hrvoje Niksic  <hniksic@srce.hr>
9271
9272         * configure.in: Set SYSTEM_GETURLRC to $libdir/geturlrc
9273
9274         * http.c (gethttp): Send the port number in the Host: header.
9275
9276 1996-09-29  Hrvoje Niksic  <hniksic@srce.hr>
9277
9278         * http.c (gethttp): Send host: header.
9279         (gethttp): Add the possibility of user-defined headers.
9280         (gethttp): Move decision about pragma: no-cache to http_loop,
9281         where it belongs.
9282         (gethttp): Pass a struct instead of enormous argument list.
9283         (http_loop): Use a new, fancier display format.
9284         (ftp_loop): Likewise.
9285
9286         * main.c: (hangup): Turn off buffering of the new log file.
9287
9288         * install-sh: Likewise.
9289
9290         * config.sub: Replace with the one in autoconf-2.10
9291
9292         * geturl.1: Update.
9293
9294         * init.c: New options httpuser and httppasswd.
9295
9296         * http.c: (base64_encode_line): New function.
9297         (gethttp): Send authentication.
9298
9299         * connect.c (make_connection): Use store_hostaddress.
9300
9301 1996-09-28  Hrvoje Niksic  <hniksic@srce.hr>
9302
9303         * host.c (store_hostaddress): New function.
9304
9305         * NEWS: Update.
9306
9307         * http.c (hgetrange): New function.
9308         (gethttp): Use ranges.
9309
9310         * utils.c (numdigit): Accept long instead of int.
9311
9312         * http.c (http_loop): Add restart capabilities.
9313
9314         * ftp.c (ftp_retrieve_glob): Fixed a bug that could cause matchres
9315         being used uninitialized.
9316         (ftp_retrieve_list): Similar fix.
9317
9318         * host.c (add_hlist): Fixed a bug that could cause cmp being used
9319         uninitialized.
9320
9321         * url.c (construct_relative): New function.
9322
9323         * recur.c (recursive_retrieve): Use it.
9324
9325         * retr.c (convert_links): New function.
9326
9327 1996-09-27  Hrvoje Niksic  <hniksic@srce.hr>
9328
9329         * url.c (free_urlpos): New function.
9330
9331         * recur.c (recursive_retrieve): Adapt.
9332
9333         * url.c (get_urls_html): Return a linked list instead of a vector.
9334
9335         * url.c (get_urls_file): Return a linked list instead of a vector.
9336
9337         * geturl.1: Update.
9338
9339         * http.c (gethttp): Implement it.
9340
9341         * init.c (setval): New option: SAVEHEADERS
9342
9343         * ftp.c (ftp_loop_internal): Do not set restval if listing is to
9344         be retrieved. Lack of this test caused bugs when the connection
9345         was lost during listing.
9346
9347         * retr.c (retrieve_url): Fixed a bug that caused
9348         coredumps. *newloc is now reset by default.
9349         (retrieve_url): Lift the twenty-tries limit on proxies.
9350
9351         * version.c: Changed version to 1.4b20.
9352
9353 1996-09-20  Hrvoje Niksic  <hniksic@srce.hr>
9354
9355         * version.c: "Released" 1.4b19.
9356
9357 1996-09-19  Hrvoje Niksic  <hniksic@srce.hr>
9358
9359         * ftp.c (ftp_loop_internal): Renamed from ftp_1fl_loop.
9360         (getftp): Changed prototype to accept ccon *.
9361
9362 1996-09-17  Hrvoje Niksic  <hniksic@srce.hr>
9363
9364         * ftp.c (ftp_retrieve_list): Fixed a bug that caused setting
9365         incorrect values to files pointed to by symbolic links.
9366         (ftp_1fl_loop): Do not count listings among the downloaded URL-s.
9367
9368 1996-09-16  Hrvoje Niksic  <hniksic@srce.hr>
9369
9370         * url.c (mkstruct): Do not prepend "./" in front of a pathname.
9371
9372         * main.c (main): New option: --user-agent.
9373
9374         * geturl.1: Ditto.
9375
9376         * init.h: Ditto.
9377
9378         * init.c (setval): Ditto.
9379
9380         * main.c (main): Rename "server-headers" to "server-response".
9381
9382         * ftp-unix.c (ftp_parse_ls): Check for asterisks at the end of
9383         executables in 'ls -F' listings.
9384
9385 1996-09-15  Hrvoje Niksic  <hniksic@srce.hr>
9386
9387         * url.c (parseurl): Remove realloc() and sprintf().
9388         (str_url): Get rid of sprintf().
9389
9390         * recur.c (recursive_retrieve): Enable FTP recursion through proxy
9391         servers.
9392
9393         * url.h (URL_CLEANSE): Made it else-resistant.
9394         (USE_PROXY): New macro.
9395
9396 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
9397
9398         * NEWS: Update.
9399
9400         * version.c: Changed version to 1.4b19.
9401
9402 1996-09-14  Hrvoje Niksic  <hniksic@srce.hr>
9403
9404         * version.c: "Released" 1.4b18.
9405
9406         * url.c: Made it reallocate space exponentially.
9407
9408 1996-09-14  Drazen Kacar  <dave@fly.cc.fer.hr>
9409
9410         * html.c (htmlfindurl): Added <frame src> and <iframe src> among
9411         the list of stuff to fetch.
9412
9413 1996-09-13  Hrvoje Niksic  <hniksic@srce.hr>
9414
9415         * url.c (get_urls_html): Fixed a bug that caused SIGSEGV's with
9416         -Fi.
9417
9418         * html.c (htmlfindurl): Rewrite.
9419
9420         * http.c (gethttp): Use opt.proxy_cache.
9421
9422         * main.c (main): Added --cache option.
9423
9424         * ftp.c (ftp_response): Print server response if opt.print_server
9425         response is set.
9426         (getftp): Print newlines after each request if the server response
9427         is to be printed.
9428         (ftp_response): Copy the last response line to last_respline.
9429
9430         * http.c (gethttp): Add Pragma: nocache for retried
9431         proxy-retrievals.
9432
9433         * ftp.c (getftp): Use it.
9434
9435         * retr.c (buf_discard): New function.
9436
9437         * ftp.c (ftp_response): Use buf_readchar().
9438         (getftp): Flush the control connection buffer before calling
9439         get_contents().
9440
9441         * retr.c (buf_readchar): New function.
9442         (buf_flush): New function.
9443         (get_contents): Use buf_readchar() instead of read(x, x, 1).
9444         (get_contents): Use buf_flush.
9445
9446 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
9447
9448         * ftp.c: Incorporate changes to ftp_response.
9449
9450         * ftp.c (ftp_response): Allocate the server response dynamically,
9451         as in read_whole_line and fetch_next_header.
9452
9453         * utils.c (read_whole_line): Fixed a bug that prevented reading
9454         the last line if it is not \n-terminated. Also fixed a possible
9455         memory overflow.
9456
9457         * http.c (fetch_next_header): Return malloc-ed string as large as
9458         needed.
9459         (gethttp): Use new fetch_next_header.
9460
9461 1996-09-12  Hrvoje Niksic  <hniksic@srce.hr>
9462
9463         * http.c (hgetlen): Compute the header length the first time only.
9464         (hgettype): Ditto.
9465         (hgetlocation): Ditto.
9466         (hgetmodified): Ditto.
9467
9468 1996-09-11  Hrvoje Niksic  <hniksic@srce.hr>
9469
9470         * sample.geturlrc: Update.
9471
9472 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
9473
9474         * http.c (http_loop): Ditto.
9475
9476         * ftp.c (getftp): Open the output file as binary.
9477
9478         * version.c: Changed version to 1.4b18.
9479
9480 1996-09-10  Hrvoje Niksic  <hniksic@srce.hr>
9481
9482         * version.c: "Released" 1.4b17.
9483
9484         * ftp-unix.c (ftp_parse_ls): If unable to open file, return NULL
9485         instead of failed assertion.
9486
9487 1996-09-09  Hrvoje Niksic  <hniksic@srce.hr>
9488
9489         * ftp.c (ftp_get_listing): Add a numbered suffix to LIST_FILENAME
9490         if a file of that name already exists.
9491
9492 1996-09-05  Hrvoje Niksic  <hniksic@srce.hr>
9493
9494         * ftp.c (ftp_1fl_loop): Handler FTPPORTERR and FOPENERR correctly.
9495
9496         * config.h.in: Define gethostbyname as Rgethostbyname when using
9497         Socks.
9498
9499         * configure.in: Check for -lresolv if using Socks.
9500
9501         * version.c: Changed version to 1.4b17.
9502
9503 1996-07-15  Hrvoje Niksic  <hniksic@srce.hr>
9504
9505         * version.c: "Released" 1.4b16.
9506
9507         * http.c (gethttp): More intelligent check for first line of HTTP
9508         response.
9509         (gethttp): Would bug out on time-stamping.
9510
9511         * version.c: Changed version to 1.4b16.
9512
9513 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
9514
9515         * version.c: Released 1.4b15.
9516
9517         * http.c (http_loop): Print \n after the loop entry, not before.
9518
9519         * url.c (url_filename): Use ISDOT.
9520
9521         * url.h (ISDOT): New macro.
9522
9523         * recur.c (recursive_retrieve): Change only opt.recursive for
9524         following FTP.
9525
9526 1996-07-11  Antonio Rosella <antonio.rosella@agip.it>
9527
9528         * socks/geturl.cgi: Fixed version No.
9529
9530         * socks/download-netscape.html: Ditto.
9531
9532         * socks/download.html: Changed socks.html to download.html.
9533
9534 1996-07-11  Hrvoje Niksic  <hniksic@srce.hr>
9535
9536         * url.c (url_filename): Check for opt.dirstruct instead for
9537         opt.recursive && opt.dirstruct.
9538
9539         * init.c (defaults): Ditto.
9540         (defaults): Reset dirstruct by default.
9541         (setval): Set opt.dirstruct whenever setting recursive.
9542
9543         * init.h: Removed FORCEDIRHIER.
9544
9545         * INSTALL: Added -L to socks-description.
9546
9547         * version.c: Changed version to 1.4b15.
9548
9549 1996-07-10  Hrvoje Niksic  <hniksic@srce.hr>
9550
9551         * version.c: "Released" 1.4b14.
9552
9553         * geturl.1: Update AUTHOR to include Rosella as contributor.
9554
9555         * NEWS: Update.
9556
9557         * socks/geturl.cgi: Simplified command creation, nuked <blink>.
9558
9559         * socks/geturl.cgi: Wrap nutscape extensions within if $netscape.
9560         (cal_time): Fix == to eq.
9561
9562         * socks/geturl.cgi: GPL-ized with permission of A. Rosella.
9563
9564         * geturl.1 (hostname): Moved URL CONVENTIONS to the beginning.
9565
9566         * Makefile.in: Use @VERSION@.
9567
9568         * configure.in: Check version from version.c.
9569
9570         * socks/geturl.cgi: Changed /pub/bin/perl to /usr/bin/perl.
9571
9572         * socks/download.html: Created from download-netscape.html, made
9573         HTML-2.0 compliant.
9574
9575         * recur.c (recursive_retrieve): Set opt.force_dir_hier when
9576         following FTP links from recursions.
9577
9578 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
9579
9580         * url.c (mymkdir): Fixed a bug that prevented mymkdir() to create
9581         absolute directories correctly.
9582
9583         * version.c: Changed version to 1.4b14.
9584
9585 1996-07-09  Hrvoje Niksic  <hniksic@srce.hr>
9586
9587         * version.c: "Released" 1.4b13.
9588
9589         * url.c (make_backup): New function.
9590
9591         * http.c (http_loop): Make a backup copy of the local file (using
9592         rename(2)) before opening it.
9593
9594         * main.c (main): Added --backups.
9595
9596         * host.c (ftp_getaddress): Bail out on failed mycuserid().
9597         (ftp_getaddress): Check for leading dot on MY_DOMAIN.
9598         (ftp_getaddress): Check for empty, null or (null) domain.
9599
9600         * url.c (get_urls_html): If this_url is NULL, the base must have a
9601         protocol.
9602         (parseurl): Use has_proto.
9603
9604         * retr.c (retrieve_url): Warn when proxy is used with more than 20
9605         retries.
9606
9607         * url.c (mkstruct): Create the directory (calling mymkdir()) only
9608         if it is not already there.
9609         (has_proto): New function.
9610         (get_urls_html): Eliminate the remaining call to findurl -- use
9611         has_proto.
9612
9613         * geturl.1: Ditto.
9614
9615         * main.c: Change -X to -x.
9616
9617         * url.c (url_filename): Simplify creation of filename if
9618         prefix_files is set.
9619         (url_filename): Simplify everything. And I do mean *everything*.
9620         (mkstruct): Add dir_prefix before hostname.
9621         (path_simplify): Fixed a bug that caused writing outside the path
9622         string in case of "." and ".." path strings.
9623
9624 1996-07-06  Hrvoje Niksic  <hniksic@srce.hr>
9625
9626         * init.c: Added --mirror.
9627
9628         * main.c (main): Added -X to force saving of directory hierarchy.
9629
9630         * ftp.c (ftp_retrieve_list): Added recursion depth counter.
9631         (ftp_retrieve_list): Check whether quota is exceeded.
9632
9633         * url.c (get_urls_html): Skip leading blanks for absolute URIs.
9634
9635         * http.c (gethttp): Use referer if present.
9636
9637         * recur.c (recursive_retrieve): Set u->referer before calling
9638         retrieve_url.
9639
9640         * url.c (newurl): Use memset to nullify the struct members.
9641         (freeurl): Free the referer field too.
9642
9643         * url.h: Added referer to urlinfo.
9644
9645         * geturl.1: Updated the manual to document some of the new features.
9646
9647         * utils.c (numdigit): Moved from url.c.
9648
9649         * README: Rewritten.
9650
9651         * config.h.in: Add the support for socks.
9652
9653         * configure.in: Add the support for socks.
9654
9655         * url.c (url_filename): If the dir_prefix is ".", work with just
9656         the file name.
9657         (url_filename): Do not look for .n extensions if timestamping if
9658         turned on.
9659
9660         * retr.c (show_progress): Skip the over-abundant restval data, and
9661         print the rest of it with ',' instead of '.'.
9662
9663 1996-07-05  Hrvoje Niksic  <hniksic@srce.hr>
9664
9665         * retr.c (show_progress): Changed second arg. to long (as it
9666         should be).
9667         (show_progress): Moved to retr.c.
9668         (get_contents): Moved to retr.c.
9669
9670         * version.c: Change version to 1.4b13.
9671
9672 1996-07-05  Hrvoje Lacko <hlacko@fly.cc.fer.hr>
9673
9674         * url.c (in_acclist): Would return after the first suffix.
9675
9676 1996-07-04  Hrvoje Niksic  <hniksic@srce.hr>
9677
9678         * version.c: "Released" 1.4b12.
9679
9680         * url.c (path_simplify): More kludgifications.
9681         (get_urls_html): Use new parameters for htmlfindurl.
9682
9683         * html.c: Removed memorizing "parser states", since the new
9684         organization does not require them.
9685
9686         * init.c (run_geturlrc): Use read_whole_line.
9687
9688         * ftp-unix.c (ftp_parse_ls): Use read_whole_line.
9689
9690         * recur.c (parse_robots): Use read_whole_line.
9691
9692         * utils.c (read_whole_line): New function.
9693
9694         * recur.c (tried_robots): Use add_slist/in_slist, *much* cleaner.
9695
9696         * host.c (ngethostbyname): Call inet_addr just once. Yet to be
9697         tested on OSF and Ultrix.
9698         (add_hlist): New function.
9699         (free_hlist): New function.
9700         (search_host): New function.
9701         (search_address): New function.
9702         (realhost): Use search_host, search_address and add_hlist.
9703         (same_host): Replaced realloc() with strdupdelim(), made
9704         case-insensitive, fixed a memory leak.
9705
9706         * html.c (ftp_index): Fixed tm_min and tm_sec to be tm_hour and
9707         tm_min, like intended.
9708
9709         * version.c: Change user agent information to
9710         Geturl/version.
9711
9712 1996-07-03  Hrvoje Niksic  <hniksic@srce.hr>
9713
9714         * utils.c: Renamed nmalloc.c to utils.c, .h likewise.
9715
9716         * url.c (acceptable): Always accept directories.
9717
9718         * ftp-unix.c (ftp_parse_ls): Support brain-damaged "ls -F"-loving
9719         servers by stripping trailing @ from symlinks and trailing / from
9720         directories.
9721
9722         * ftp.c (ftp_loop): Debugged the "enhanced" heuristics. :-)
9723
9724         * url.c (skip_url): Use toupper instead of UCASE.
9725
9726         * host.c (sufmatch): Made it case-insensitive.
9727
9728         * url.c (match_backwards_or_pattern): Fixed i == -1 to j == -1.
9729         (match_backwards): New function, instead of
9730         match_backwards_or_pattern.
9731
9732         * recur.c (recursive_retrieve): Increased performance by
9733         introducing inl, which reduces number of calls to in_slist to only
9734         one.
9735
9736         * ftp.c (ftp_loop): Enhanced the heuristics that decides which
9737         routine to use.
9738
9739         * main.c (printhelp): Removed the warranty stuff.
9740
9741 1996-07-02  Hrvoje Niksic  <hniksic@srce.hr>
9742
9743         * url.c (add_slist): Simplify.
9744         (match_backwards_or_pattern): New function.
9745         (in_acclist): Use match_backwards_or_pattern.
9746         (matches): Remove.
9747
9748 1996-06-30  Hrvoje Niksic  <hniksic@srce.hr>
9749
9750         * ftp.c (ftp_loop): Call ftp_index on empty file names, if not
9751         recursive.
9752
9753         * html.c (ftp_index): Fixed to work. Beautified the output.
9754
9755         * ftp.c (ftp_retrieve_glob): Another argument to control whether
9756         globbing is to be used.
9757         (ftp_retrieve_list): Compare the time-stamps of local and remote
9758         files to determine whether to download.
9759
9760 1996-06-29  Hrvoje Niksic  <hniksic@srce.hr>
9761
9762         * ftp.c (rel_constr): New function.
9763
9764         * retr.c (retrieve_from_file): Check for text/html before
9765         retrieving recursively.
9766
9767         * main.c (main): Check whether the file is HTML before going into
9768         recursive HTML retrieving.
9769
9770         * ftp.c (ftp_retrieve_list): Manage directories.
9771         (ftp_retrieve_glob): Pass all the file-types to ftp_retrieve_list.
9772         (ftp_1fl_loop): Fixed a bug that caused con->com to be incorrectly
9773         initialized, causing bugchecks in getftp to fail.
9774
9775         * configure.in: Check for symlink.
9776
9777         * ftp.c (ftp_retrieve_list): Added support for symlinks.
9778
9779         * version.c: "Released" 1.4b10.
9780
9781         * atotm.c (atotm): Redeclared as time_t.
9782
9783         * init.c: New variable "timestamping".
9784
9785         * main.c (main): New option 'N'.
9786
9787         * http.c (hgetlocation): Case-insensitive match.
9788         (hgetmodified): New function.
9789         (http_loop): Implement time-stamping.
9790
9791 1996-06-28  Hrvoje Niksic  <hniksic@srce.hr>
9792
9793         * version.c: Changed version to 1.4b10
9794
9795         * atotm.c: New file, from phttpd.
9796
9797         * options.h (struct options): New parameter timestamping.
9798
9799         * version.c: 1.4b9 "released".
9800
9801         * recur.c (recursive_retrieve): Used linked list (ulist) for
9802         faster storing of URLs.
9803
9804         * url.c (get_urls_html): Removed the old kludge with comparing the
9805         outputs of htmlfindurl and findurl.
9806         (get_urls_html): Added better protocol support here.
9807         (create_hash): Removed, as well as add_hash and in_hash.
9808         (addslist): New function.
9809         (in_slist): ditto
9810
9811         * version.c: Released 1.4b8, changed version to b9.
9812
9813 1996-06-27  Hrvoje Niksic  <hniksic@srce.hr>
9814
9815         * ftp.c (freefileinfo): New function.
9816         (delelement): New function.
9817
9818         * everywhere: GPL!
9819
9820         * ftp.c (ftp_loop): Use ccon.
9821         (ftp_retrieve_glob): Likewise.
9822
9823         * ftp.h: Define ccon, to define status of control connection.
9824
9825         * ftp.c (ftp_get_listing): New function.
9826         (ftp_retrieve_more): New function.
9827         (ftp_retrieve_glob): New function.
9828
9829 1996-06-25  Hrvoje Niksic  <hniksic@srce.hr>
9830
9831         * configure.in: Removed the search for cuserid().
9832
9833         * init.c (getmode): Renamed to getperms.
9834
9835 1996-06-24  Hrvoje Niksic  <hniksic@srce.hr>
9836
9837         * version.c: New version.
9838
9839         * main.c (hangup): New function, that handles hangup. Hangup
9840         signal now causes geturl to stop writing on stdout, and to write
9841         to a log file.
9842
9843         * ftp.c (getftp): "Released" 1.4b7.
9844
9845         * html.c (htmlfindurl): Ignore everything inside <head>...</head>.
9846         (ftp_index): Use fileinfo/urlinfo.
9847
9848         * ftp-unix.c (ftp_parse_ls): New function.
9849         (symperms): New function.
9850
9851         * ftp.c (ftp_1fl_loop): New function, to handle 1-file loops.
9852
9853         * retr.c (retrieve_url): Added FTP support.
9854
9855 1996-06-23  Hrvoje Niksic  <hniksic@srce.hr>
9856
9857         * geturl.h: Removed NOTFTP2HTML enum.
9858         Added DO_LOGIN, DO_CWD and DO_LIST. LIST_ONLY is obsolete.
9859
9860         * ftp.c (getftp): Resynched with urlinfo.
9861         (getftp): Removed HMTL-ization of index.html from getftp.
9862
9863         * version.c: 1.4b6 "released".
9864
9865         * options.h (options): New struct, to keep options in.
9866
9867         * http.c (http_loop,gethttp): Synched with proxy.
9868
9869         * retr.c (retrieve_url): Implemented proxy retrieval.
9870
9871         * main.c (main): Use retrieve_from_file.
9872
9873 1996-06-22  Hrvoje Niksic  <hniksic@srce.hr>
9874
9875         * retr.c (retrieve_from_file): New function.
9876
9877         * url.c (parseurl): Modified to return URLOK if all OK. Protocol
9878         can be found in u->proto.
9879
9880         * ftp.c (ftp_response): Fixed to accept multi-line responses as
9881         per RFC 959.
9882
9883         * recr.c (recursive_retrieve): Take newloc from retrieve_url.
9884
9885         * url.c (mymkdir): Removed the file of the same name, if one
9886         exists.
9887         (isfile): New function.
9888         (mkstruct): Fixed the '/' glitches.
9889         (path_simplify): Hacked to treat something/.. correctly.
9890
9891 1996-06-21  Hrvoje Niksic  <hniksic@srce.hr>
9892
9893         * http.c (gethttp): Close the socket after error in headers.
9894         (http_loop): HEOF no longer a fatal header.
9895
9896         * loop.c (retrieve_url): When dt is NULL, do not modify it. This
9897         simplifies the syntax of calling retrieve_url.
9898
9899         * recr.c (recursive_retrieve): Modified to use get_urls_html.
9900
9901         * url.c (get_urls_file): New function.
9902         (get_urls_html): New function.
9903
9904         * recr.c (recursive_retrieve): Patched up to conform to the
9905         standards.
9906
9907         * http.c (gethttp): Synched with the rest...
9908         (gethttp): Treat only CONREFUSED specially, with connection
9909         errors.
9910
9911         * init.c,geturl.1,http.c (http_loop): Removed kill_error.
9912
9913 1996-06-20  Hrvoje Niksic  <hniksic@srce.hr>
9914
9915         * http.c (http_loop): New function.
9916
9917         * loop.c: Removed *lots* of stuff from retrieve_url.
9918
9919         * url.c (parseurl): Changed to work with urlinfo. Integrated
9920         username finding and path parsing.
9921         (newurl): New function.
9922         (freeurl): New function.
9923         (mkstruct): Removed the old bogosities, made it urlinfo-compliant.
9924         (url_filename): Likewise.
9925         (path_simplify): Accept relative paths too.
9926         (opt_url): Made urlinfo-compliant, removed bogosities.
9927         (path_simplify): Expanded to accept relative paths.
9928         (str_url): A replacement for hide_url
9929         (decode_string): Fixed a bug that caused malfunctioning when
9930         encountering an illegal %.. combination.
9931         (opt_url): Removed the argument. Dot-optimizations are now default.
9932
9933         * nmalloc.c (strdupdelim): New function.
9934
9935         * url.h: Added the urlinfo structure
9936
9937 1996-06-19  Hrvoje Niksic  <hniksic@srce.hr>
9938
9939         * url.c (hide_url): Thrown out the protocol assertion. Do not
9940         change the URL if the protocol if not recognized.
9941         (findurl): Put continue instead of break.
9942
9943 1996-06-18  Hrvoje Niksic  <hniksic@srce.hr>
9944
9945         * sample.geturlrc: Changed the defaults to be commented out and
9946         harmless (previous defaults caused pains if copied to
9947         ~/.geturlrc).
9948
9949         * http.c (gethttp): Print the HTTP request in debug mode.
9950
9951         * connect.c (iread): Added EINTR check loop to select-ing
9952         too. EINTR is now correctly handled with select().
9953
9954         * TODO: new file
9955
9956 1996-05-07  Hrvoje Niksic  <hniksic@srce.hr>
9957
9958         * host.c (same_host): Made the function a little bit more
9959         intelligent regarding diversified URL syntaxes.
9960
9961         * url.c (skip_url): Spaces are now skipped after URL:
9962
9963         * Released 1.3.1 with the patch to prevent crashing when sending
9964         NULL to robot* functions and the patch to compile "out of the box"
9965         on AIX.
9966
9967         * recr.c (recursive_retrieve): Added checking whether this_url is
9968         NULL when calling the robot functions.
9969
9970         * ChangeLog: New file.