]> sjero.net Git - wget/blob - doc/wget.texi
[svn] A bunch of new features:
[wget] / doc / wget.texi
1 \input texinfo   @c -*-texinfo-*-
2
3 @c %**start of header
4 @setfilename wget.info
5 @settitle GNU Wget Manual
6 @c Disable the monstrous rectangles beside overfull hbox-es.
7 @finalout
8 @c Use `odd' to print double-sided.
9 @setchapternewpage on
10 @c %**end of header
11
12 @iftex
13 @c Remove this if you don't use A4 paper.
14 @afourpaper
15 @end iftex
16
17 @c This should really be auto-generated!
18 @set VERSION 1.5.3+dev
19 @set UPDATED Feb 2000
20
21 @dircategory Net Utilities
22 @dircategory World Wide Web
23 @direntry
24 * Wget: (wget).         The non-interactive network downloader.
25 @end direntry
26
27 @ifinfo
28 This file documents the the GNU Wget utility for downloading network
29 data.
30
31 Copyright (C) 1996, 1997, 1998, 2000 Free Software Foundation, Inc.
32
33 Permission is granted to make and distribute verbatim copies of
34 this manual provided the copyright notice and this permission notice
35 are preserved on all copies.
36
37 @ignore
38 Permission is granted to process this file through TeX and print the
39 results, provided the printed document carries a copying permission
40 notice identical to this one except for the removal of this paragraph
41 (this paragraph not being relevant to the printed manual).
42 @end ignore
43 Permission is granted to copy, distribute and/or modify this document
44 under the terms of the GNU Free Documentation License, Version 1.1 or
45 any later version published by the Free Software Foundation; with the
46 Invariant Sections being ``GNU General Public License'' and ``GNU Free
47 Documentation License'', with no Front-Cover Texts, and with no
48 Back-Cover Texts.  A copy of the license is included in the section
49 entitled ``GNU Free Documentation License''.
50 @end ifinfo
51
52 @titlepage
53 @title GNU Wget
54 @subtitle The noninteractive downloading utility
55 @subtitle Updated for Wget @value{VERSION}, @value{UPDATED}
56 @author by Hrvoje Nik@v{s}i@'{c} and the developers
57
58 @page
59 @vskip 0pt plus 1filll
60 Copyright @copyright{} 1996, 1997, 1998, 2000 Free Software Foundation, Inc.
61
62 Permission is granted to copy, distribute and/or modify this document
63 under the terms of the GNU Free Documentation License, Version 1.1 or
64 any later version published by the Free Software Foundation; with the
65 Invariant Sections being ``GNU General Public License'' and ``GNU Free
66 Documentation License'', with no Front-Cover Texts, and with no
67 Back-Cover Texts.  A copy of the license is included in the section
68 entitled ``GNU Free Documentation License''.
69 @end titlepage
70
71 @ifinfo
72 @node Top, Overview, (dir), (dir)
73 @top Wget @value{VERSION}
74
75 This manual documents version @value{VERSION} of GNU Wget, the freely
76 available utility for network download.
77
78 Copyright @copyright{} 1996, 1997, 1998, 2000 Free Software Foundation, Inc.
79
80 @menu
81 * Overview::            Features of Wget.
82 * Invoking::            Wget command-line arguments.
83 * Recursive Retrieval:: Description of recursive retrieval.
84 * Following Links::     The available methods of chasing links.
85 * Time-Stamping::       Mirroring according to time-stamps.
86 * Startup File::        Wget's initialization file.
87 * Examples::            Examples of usage.
88 * Various::             The stuff that doesn't fit anywhere else.
89 * Appendices::          Some useful references.
90 * Copying::             You may give out copies of Wget and of this manual.
91 * Concept Index::       Topics covered by this manual.
92 @end menu
93 @end ifinfo
94
95 @node Overview, Invoking, Top, Top
96 @chapter Overview
97 @cindex overview
98 @cindex features
99
100 GNU Wget is a freely available network utility to retrieve files from
101 the World Wide Web, using @sc{http} (Hyper Text Transfer Protocol) and
102 @sc{ftp} (File Transfer Protocol), the two most widely used Internet
103 protocols.  It has many useful features to make downloading easier, some
104 of them being:
105
106 @itemize @bullet
107 @item
108 Wget is non-interactive, meaning that it can work in the background,
109 while the user is not logged on.  This allows you to start a retrieval
110 and disconnect from the system, letting Wget finish the work.  By
111 contrast, most of the Web browsers require constant user's presence,
112 which can be a great hindrance when transferring a lot of data.
113
114 @sp 1
115 @item
116 Wget is capable of descending recursively through the structure of
117 @sc{html} documents and @sc{ftp} directory trees, making a local copy of
118 the directory hierarchy similar to the one on the remote server.  This
119 feature can be used to mirror archives and home pages, or traverse the
120 web in search of data, like a @sc{www} robot (@pxref{Robots}).  In that
121 spirit, Wget understands the @code{norobots} convention.
122
123 @sp 1
124 @item
125 File name wildcard matching and recursive mirroring of directories are
126 available when retrieving via @sc{ftp}.  Wget can read the time-stamp
127 information given by both @sc{http} and @sc{ftp} servers, and store it
128 locally.  Thus Wget can see if the remote file has changed since last
129 retrieval, and automatically retrieve the new version if it has.  This
130 makes Wget suitable for mirroring of @sc{ftp} sites, as well as home
131 pages.
132
133 @sp 1
134 @item
135 Wget works exceedingly well on slow or unstable connections,
136 retrying the document until it is fully retrieved, or until a
137 user-specified retry count is surpassed.  It will try to resume the
138 download from the point of interruption, using @code{REST} with @sc{ftp}
139 and @code{Range} with @sc{http} servers that support them.
140
141 @sp 1
142 @item
143 By default, Wget supports proxy servers, which can lighten the network
144 load, speed up retrieval and provide access behind firewalls.  However,
145 if you are behind a firewall that requires that you use a socks style
146 gateway, you can get the socks library and build Wget with support for
147 socks.  Wget also supports the passive @sc{ftp} downloading as an
148 option.
149
150 @sp 1
151 @item
152 Builtin features offer mechanisms to tune which links you wish to follow
153 (@pxref{Following Links}).
154
155 @sp 1
156 @item
157 The retrieval is conveniently traced with printing dots, each dot
158 representing a fixed amount of data received (1KB by default).  These
159 representations can be customized to your preferences.
160
161 @sp 1
162 @item
163 Most of the features are fully configurable, either through command line
164 options, or via the initialization file @file{.wgetrc} (@pxref{Startup
165 File}).  Wget allows you to define @dfn{global} startup files
166 (@file{/usr/local/etc/wgetrc} by default) for site settings.
167
168 @sp 1
169 @item
170 Finally, GNU Wget is free software.  This means that everyone may use
171 it, redistribute it and/or modify it under the terms of the GNU General
172 Public License, as published by the Free Software Foundation
173 (@pxref{Copying}).
174 @end itemize
175
176 @node Invoking, Recursive Retrieval, Overview, Top
177 @chapter Invoking
178 @cindex invoking
179 @cindex command line
180 @cindex arguments
181 @cindex nohup
182
183 By default, Wget is very simple to invoke.  The basic syntax is:
184
185 @example
186 wget [@var{option}]@dots{} [@var{URL}]@dots{}
187 @end example
188
189 Wget will simply download all the @sc{url}s specified on the command
190 line.  @var{URL} is a @dfn{Uniform Resource Locator}, as defined below.
191
192 However, you may wish to change some of the default parameters of
193 Wget.  You can do it two ways: permanently, adding the appropriate
194 command to @file{.wgetrc} (@pxref{Startup File}), or specifying it on
195 the command line.
196
197 @menu
198 * URL Format::
199 * Option Syntax::
200 * Basic Startup Options::
201 * Logging and Input File Options::
202 * Download Options::
203 * Directory Options::
204 * HTTP Options::
205 * FTP Options::
206 * Recursive Retrieval Options::
207 * Recursive Accept/Reject Options::
208 @end menu
209
210 @node URL Format, Option Syntax, Invoking, Invoking
211 @section URL Format
212 @cindex URL
213 @cindex URL syntax
214
215 @dfn{URL} is an acronym for Uniform Resource Locator.  A uniform
216 resource locator is a compact string representation for a resource
217 available via the Internet.  Wget recognizes the @sc{url} syntax as per
218 @sc{rfc1738}.  This is the most widely used form (square brackets denote
219 optional parts):
220
221 @example
222 http://host[:port]/directory/file
223 ftp://host[:port]/directory/file
224 @end example
225
226 You can also encode your username and password within a @sc{url}:
227
228 @example
229 ftp://user:password@@host/path
230 http://user:password@@host/path
231 @end example
232
233 Either @var{user} or @var{password}, or both, may be left out.  If you
234 leave out either the @sc{http} username or password, no authentication
235 will be sent.  If you leave out the @sc{ftp} username, @samp{anonymous}
236 will be used.  If you leave out the @sc{ftp} password, your email
237 address will be supplied as a default password.@footnote{If you have a
238 @file{.netrc} file in your home directory, password will also be
239 searched for there.}
240
241 You can encode unsafe characters in a @sc{url} as @samp{%xy}, @code{xy}
242 being the hexadecimal representation of the character's @sc{ascii}
243 value.  Some common unsafe characters include @samp{%} (quoted as
244 @samp{%25}), @samp{:} (quoted as @samp{%3A}), and @samp{@@} (quoted as
245 @samp{%40}).  Refer to @sc{rfc1738} for a comprehensive list of unsafe
246 characters.
247
248 Wget also supports the @code{type} feature for @sc{ftp} @sc{url}s.  By
249 default, @sc{ftp} documents are retrieved in the binary mode (type
250 @samp{i}), which means that they are downloaded unchanged.  Another
251 useful mode is the @samp{a} (@dfn{ASCII}) mode, which converts the line
252 delimiters between the different operating systems, and is thus useful
253 for text files.  Here is an example:
254
255 @example
256 ftp://host/directory/file;type=a
257 @end example
258
259 Two alternative variants of @sc{url} specification are also supported,
260 because of historical (hysterical?) reasons and their widespreaded use.
261
262 @sc{ftp}-only syntax (supported by @code{NcFTP}):
263 @example
264 host:/dir/file
265 @end example
266
267 @sc{http}-only syntax (introduced by @code{Netscape}):
268 @example
269 host[:port]/dir/file
270 @end example
271
272 These two alternative forms are deprecated, and may cease being
273 supported in the future.
274
275 If you do not understand the difference between these notations, or do
276 not know which one to use, just use the plain ordinary format you use
277 with your favorite browser, like @code{Lynx} or @code{Netscape}.
278
279 @node Option Syntax, Basic Startup Options, URL Format, Invoking
280 @section Option Syntax
281 @cindex option syntax
282 @cindex syntax of options
283
284 Since Wget uses GNU getopts to process its arguments, every option has a
285 short form and a long form.  Long options are more convenient to
286 remember, but take time to type.  You may freely mix different option
287 styles, or specify options after the command-line arguments.  Thus you
288 may write:
289
290 @example
291 wget -r --tries=10 http://fly.srk.fer.hr/ -o log
292 @end example
293
294 The space between the option accepting an argument and the argument may
295 be omitted.  Instead @samp{-o log} you can write @samp{-olog}.
296
297 You may put several options that do not require arguments together,
298 like:
299
300 @example
301 wget -drc @var{URL}
302 @end example
303
304 This is a complete equivalent of:
305
306 @example
307 wget -d -r -c @var{URL}
308 @end example
309
310 Since the options can be specified after the arguments, you may
311 terminate them with @samp{--}.  So the following will try to download
312 @sc{url} @samp{-x}, reporting failure to @file{log}:
313
314 @example
315 wget -o log -- -x
316 @end example
317
318 The options that accept comma-separated lists all respect the convention
319 that specifying an empty list clears its value.  This can be useful to
320 clear the @file{.wgetrc} settings.  For instance, if your @file{.wgetrc}
321 sets @code{exclude_directories} to @file{/cgi-bin}, the following
322 example will first reset it, and then set it to exclude @file{/~nobody}
323 and @file{/~somebody}.  You can also clear the lists in @file{.wgetrc}
324 (@pxref{Wgetrc Syntax}).
325
326 @example
327 wget -X '' -X /~nobody,/~somebody
328 @end example
329
330 @node Basic Startup Options, Logging and Input File Options, Option Syntax, Invoking
331 @section Basic Startup Options
332
333 @table @samp
334 @item -V
335 @itemx --version
336 Display the version of Wget.
337
338 @item -h
339 @itemx --help
340 Print a help message describing all of Wget's command-line options.
341
342 @item -b
343 @itemx --background
344 Go to background immediately after startup.  If no output file is
345 specified via the @samp{-o}, output is redirected to @file{wget-log}.
346
347 @cindex execute wgetrc command
348 @item -e @var{command}
349 @itemx --execute @var{command}
350 Execute @var{command} as if it were a part of @file{.wgetrc}
351 (@pxref{Startup File}).  A command thus invoked will be executed
352 @emph{after} the commands in @file{.wgetrc}, thus taking precedence over
353 them.
354 @end table
355
356 @node Logging and Input File Options, Download Options, Basic Startup Options, Invoking
357 @section Logging and Input File Options
358
359 @table @samp
360 @cindex output file
361 @cindex log file
362 @item -o @var{logfile}
363 @itemx --output-file=@var{logfile}
364 Log all messages to @var{logfile}.  The messages are normally reported
365 to standard error.
366
367 @cindex append to log
368 @item -a @var{logfile}
369 @itemx --append-output=@var{logfile}
370 Append to @var{logfile}.  This is the same as @samp{-o}, only it appends
371 to @var{logfile} instead of overwriting the old log file.  If
372 @var{logfile} does not exist, a new file is created.
373
374 @cindex debug
375 @item -d
376 @itemx --debug
377 Turn on debug output, meaning various information important to the
378 developers of Wget if it does not work properly.  Your system
379 administrator may have chosen to compile Wget without debug support, in
380 which case @samp{-d} will not work.  Please note that compiling with
381 debug support is always safe---Wget compiled with the debug support will
382 @emph{not} print any debug info unless requested with @samp{-d}.
383 @xref{Reporting Bugs}, for more information on how to use @samp{-d} for
384 sending bug reports.
385
386 @cindex quiet
387 @item -q
388 @itemx --quiet
389 Turn off Wget's output.
390
391 @cindex verbose
392 @item -v
393 @itemx --verbose
394 Turn on verbose output, with all the available data.  The default output
395 is verbose.
396
397 @item -nv
398 @itemx --non-verbose
399 Non-verbose output---turn off verbose without being completely quiet
400 (use @samp{-q} for that), which means that error messages and basic
401 information still get printed.
402
403 @cindex input-file
404 @item -i @var{file}
405 @itemx --input-file=@var{file}
406 Read @sc{url}s from @var{file}, in which case no @sc{url}s need to be on
407 the command line.  If there are @sc{url}s both on the command line and
408 in an input file, those on the command lines will be the first ones to
409 be retrieved.  The @var{file} need not be an @sc{html} document (but no
410 harm if it is)---it is enough if the @sc{url}s are just listed
411 sequentially.
412
413 However, if you specify @samp{--force-html}, the document will be
414 regarded as @samp{html}.  In that case you may have problems with
415 relative links, which you can solve either by adding @code{<base
416 href="@var{url}">} to the documents or by specifying
417 @samp{--base=@var{url}} on the command line.
418
419 @cindex force html
420 @item -F
421 @itemx --force-html
422 When input is read from a file, force it to be treated as an @sc{html}
423 file.  This enables you to retrieve relative links from existing
424 @sc{html} files on your local disk, by adding @code{<base
425 href="@var{url}">} to @sc{html}, or using the @samp{--base} command-line
426 option.
427
428 @cindex base for relative links in input file
429 @item -B @var{URL}
430 @itemx --base=@var{URL}
431 When used in conjunction with @samp{-F}, prepends @var{URL} to relative
432 links in the file specified by @samp{-i}.
433 @end table
434
435 @node Download Options, Directory Options, Logging and Input File Options, Invoking
436 @section Download Options
437
438 @table @samp
439 @cindex bind() address
440 @cindex client IP address
441 @cindex IP address, client
442 @item --bind-address=@var{ADDRESS}
443 When making client TCP/IP connections, @code{bind()} to @var{ADDRESS} on
444 the local machine.  @var{ADDRESS} may be specified as a hostname or IP
445 address.  This option can be useful if your machine is bound to multiple
446 IPs.
447
448 @cindex retries
449 @cindex tries
450 @cindex number of retries
451 @item -t @var{number}
452 @itemx --tries=@var{number}
453 Set number of retries to @var{number}.  Specify 0 or @samp{inf} for
454 infinite retrying.
455
456 @item -O @var{file}
457 @itemx --output-document=@var{file}
458 The documents will not be written to the appropriate files, but all will
459 be concatenated together and written to @var{file}.  If @var{file}
460 already exists, it will be overwritten.  If the @var{file} is @samp{-},
461 the documents will be written to standard output.  Including this option
462 automatically sets the number of tries to 1.
463
464 @cindex clobbering, file
465 @cindex downloading multiple times
466 @cindex no-clobber
467 @item -nc
468 @itemx --no-clobber
469 If a file is downloaded more than once in the same directory, Wget's
470 behavior depends on a few options, including @samp{-nc}.  In certain
471 cases, the local file will be @dfn{clobbered}, or overwritten, upon
472 repeated download.  In other cases it will be preserved.
473
474 When running Wget without @samp{-N}, @samp{-nc}, or @samp{-r},
475 downloading the same file in the same directory will result in the
476 original copy of @var{file} being preserved and the second copy being
477 named @samp{@var{file}.1}.  If that file is downloaded yet again, the
478 third copy will be named @samp{@var{file}.2}, and so on.  When
479 @samp{-nc} is specified, this behavior is suppressed, and Wget will
480 refuse to download newer copies of @samp{@var{file}}.  Therefore,
481 ``@code{no-clobber}'' is actually a misnomer in this mode---it's not
482 clobbering that's prevented (as the numeric suffixes were already
483 preventing clobbering), but rather the multiple version saving that's
484 prevented.
485
486 When running Wget with @samp{-r}, but without @samp{-N} or @samp{-nc},
487 re-downloading a file will result in the new copy simply overwriting the
488 old.  Adding @samp{-nc} will prevent this behavior, instead causing the
489 original version to be preserved and any newer copies on the server to
490 be ignored.
491
492 When running Wget with @samp{-N}, with or without @samp{-r}, the
493 decision as to whether or not to download a newer copy of a file depends
494 on the local and remote timestamp and size of the file
495 (@pxref{Time-Stamping}).  @samp{-nc} may not be specified at the same
496 time as @samp{-N}.
497
498 Note that when @samp{-nc} is specified, files with the suffixes
499 @samp{.html} or (yuck) @samp{.htm} will be loaded from the local disk
500 and parsed as if they had been retrieved from the Web.
501
502 @cindex continue retrieval
503 @item -c
504 @itemx --continue
505 Continue getting an existing file.  This is useful when you want to
506 finish up the download started by another program, or a previous
507 instance of Wget.  Thus you can write:
508
509 @example
510 wget -c ftp://sunsite.doc.ic.ac.uk/ls-lR.Z
511 @end example
512
513 If there is a file name @file{ls-lR.Z} in the current directory, Wget
514 will assume that it is the first portion of the remote file, and will
515 require the server to continue the retrieval from an offset equal to the
516 length of the local file.
517
518 Note that you need not specify this option if all you want is Wget to
519 continue retrieving where it left off when the connection is lost---Wget
520 does this by default.  You need this option only when you want to
521 continue retrieval of a file already halfway retrieved, saved by another
522 @sc{ftp} client, or left by Wget being killed.
523
524 Without @samp{-c}, the previous example would just begin to download the
525 remote file to @file{ls-lR.Z.1}.  The @samp{-c} option is also
526 applicable for @sc{http} servers that support the @code{Range} header.
527
528 Note that if you use @samp{-c} on a file that's already downloaded
529 completely, @samp{@var{file}} will not be changed, nor will a second
530 @samp{@var{file}.1} copy be created.
531
532 @cindex dot style
533 @cindex retrieval tracing style
534 @item --dot-style=@var{style}
535 Set the retrieval style to @var{style}.  Wget traces the retrieval of
536 each document by printing dots on the screen, each dot representing a
537 fixed amount of retrieved data.  Any number of dots may be separated in
538 a @dfn{cluster}, to make counting easier.  This option allows you to
539 choose one of the pre-defined styles, determining the number of bytes
540 represented by a dot, the number of dots in a cluster, and the number of
541 dots on the line.
542
543 With the @code{default} style each dot represents 1K, there are ten dots
544 in a cluster and 50 dots in a line.  The @code{binary} style has a more
545 ``computer''-like orientation---8K dots, 16-dots clusters and 48 dots
546 per line (which makes for 384K lines).  The @code{mega} style is
547 suitable for downloading very large files---each dot represents 64K
548 retrieved, there are eight dots in a cluster, and 48 dots on each line
549 (so each line contains 3M).  The @code{micro} style is exactly the
550 reverse; it is suitable for downloading small files, with 128-byte dots,
551 8 dots per cluster, and 48 dots (6K) per line.
552
553 @item -N
554 @itemx --timestamping
555 Turn on time-stamping.  @xref{Time-Stamping}, for details.
556
557 @cindex server response, print
558 @item -S
559 @itemx --server-response
560 Print the headers sent by @sc{http} servers and responses sent by
561 @sc{ftp} servers.
562
563 @cindex Wget as spider
564 @cindex spider
565 @item --spider
566 When invoked with this option, Wget will behave as a Web @dfn{spider},
567 which means that it will not download the pages, just check that they
568 are there.  You can use it to check your bookmarks, e.g. with:
569
570 @example
571 wget --spider --force-html -i bookmarks.html
572 @end example
573
574 This feature needs much more work for Wget to get close to the
575 functionality of real @sc{www} spiders.
576
577 @cindex timeout
578 @item -T seconds
579 @itemx --timeout=@var{seconds}
580 Set the read timeout to @var{seconds} seconds.  Whenever a network read
581 is issued, the file descriptor is checked for a timeout, which could
582 otherwise leave a pending connection (uninterrupted read).  The default
583 timeout is 900 seconds (fifteen minutes).  Setting timeout to 0 will
584 disable checking for timeouts.
585
586 Please do not lower the default timeout value with this option unless
587 you know what you are doing.
588
589 @cindex pause
590 @cindex wait
591 @item -w @var{seconds}
592 @itemx --wait=@var{seconds}
593 Wait the specified number of seconds between the retrievals.  Use of
594 this option is recommended, as it lightens the server load by making the
595 requests less frequent.  Instead of in seconds, the time can be
596 specified in minutes using the @code{m} suffix, in hours using @code{h}
597 suffix, or in days using @code{d} suffix.
598
599 Specifying a large value for this option is useful if the network or the
600 destination host is down, so that Wget can wait long enough to
601 reasonably expect the network error to be fixed before the retry.
602
603 @cindex retries, waiting between
604 @cindex waiting between retries
605 @item --waitretry=@var{seconds}
606 If you don't want Wget to wait between @emph{every} retrieval, but only
607 between retries of failed downloads, you can use this option.  Wget will
608 use @dfn{linear backoff}, waiting 1 second after the first failure on a
609 given file, then waiting 2 seconds after the second failure on that
610 file, up to the maximum number of @var{seconds} you specify.  Therefore,
611 a value of 10 will actually make Wget wait up to (1 + 2 + ... + 10) = 55
612 seconds per file.
613
614 Note that this option is turned on by default in the global
615 @file{wgetrc} file.
616
617 @cindex proxy
618 @item -Y on/off
619 @itemx --proxy=on/off
620 Turn proxy support on or off.  The proxy is on by default if the
621 appropriate environmental variable is defined.
622
623 @cindex quota
624 @item -Q @var{quota}
625 @itemx --quota=@var{quota}
626 Specify download quota for automatic retrievals.  The value can be
627 specified in bytes (default), kilobytes (with @samp{k} suffix), or
628 megabytes (with @samp{m} suffix).
629
630 Note that quota will never affect downloading a single file.  So if you
631 specify @samp{wget -Q10k ftp://wuarchive.wustl.edu/ls-lR.gz}, all of the
632 @file{ls-lR.gz} will be downloaded.  The same goes even when several
633 @sc{url}s are specified on the command-line.  However, quota is
634 respected when retrieving either recursively, or from an input file.
635 Thus you may safely type @samp{wget -Q2m -i sites}---download will be
636 aborted when the quota is exceeded.
637
638 Setting quota to 0 or to @samp{inf} unlimits the download quota.
639 @end table
640
641 @node Directory Options, HTTP Options, Download Options, Invoking
642 @section Directory Options
643
644 @table @samp
645 @item -nd
646 @itemx --no-directories
647 Do not create a hierarchy of directories when retrieving recursively.
648 With this option turned on, all files will get saved to the current
649 directory, without clobbering (if a name shows up more than once, the
650 filenames will get extensions @samp{.n}).
651
652 @item -x
653 @itemx --force-directories
654 The opposite of @samp{-nd}---create a hierarchy of directories, even if
655 one would not have been created otherwise.  E.g. @samp{wget -x
656 http://fly.srk.fer.hr/robots.txt} will save the downloaded file to
657 @file{fly.srk.fer.hr/robots.txt}.
658
659 @item -nH
660 @itemx --no-host-directories
661 Disable generation of host-prefixed directories.  By default, invoking
662 Wget with @samp{-r http://fly.srk.fer.hr/} will create a structure of
663 directories beginning with @file{fly.srk.fer.hr/}.  This option disables
664 such behavior.
665
666 @cindex cut directories
667 @item --cut-dirs=@var{number}
668 Ignore @var{number} directory components.  This is useful for getting a
669 fine-grained control over the directory where recursive retrieval will
670 be saved.
671
672 Take, for example, the directory at
673 @samp{ftp://ftp.xemacs.org/pub/xemacs/}.  If you retrieve it with
674 @samp{-r}, it will be saved locally under
675 @file{ftp.xemacs.org/pub/xemacs/}.  While the @samp{-nH} option can
676 remove the @file{ftp.xemacs.org/} part, you are still stuck with
677 @file{pub/xemacs}.  This is where @samp{--cut-dirs} comes in handy; it
678 makes Wget not ``see'' @var{number} remote directory components.  Here
679 are several examples of how @samp{--cut-dirs} option works.
680
681 @example
682 @group
683 No options        -> ftp.xemacs.org/pub/xemacs/
684 -nH               -> pub/xemacs/
685 -nH --cut-dirs=1  -> xemacs/
686 -nH --cut-dirs=2  -> .
687
688 --cut-dirs=1      -> ftp.xemacs.org/xemacs/
689 ...
690 @end group
691 @end example
692
693 If you just want to get rid of the directory structure, this option is
694 similar to a combination of @samp{-nd} and @samp{-P}.  However, unlike
695 @samp{-nd}, @samp{--cut-dirs} does not lose with subdirectories---for
696 instance, with @samp{-nH --cut-dirs=1}, a @file{beta/} subdirectory will
697 be placed to @file{xemacs/beta}, as one would expect.
698
699 @cindex directory prefix
700 @item -P @var{prefix}
701 @itemx --directory-prefix=@var{prefix}
702 Set directory prefix to @var{prefix}.  The @dfn{directory prefix} is the
703 directory where all other files and subdirectories will be saved to,
704 i.e. the top of the retrieval tree.  The default is @samp{.} (the
705 current directory).
706 @end table
707
708 @node HTTP Options, FTP Options, Directory Options, Invoking
709 @section HTTP Options
710
711 @table @samp
712 @cindex .html extension
713 @item -E
714 @itemx --html-extension
715 If a file of type @samp{text/html} is downloaded and the URL does not
716 end with the regexp @samp{\.[Hh][Tt][Mm][Ll]?}, this option will cause
717 the suffix @samp{.html} to be appended to the local filename.  This is
718 useful, for instance, when you're mirroring a remote site that uses
719 @samp{.asp} pages, but you want the mirrored pages to be viewable on
720 your stock Apache server.  Another good use for this is when you're
721 downloading the output of CGIs.  A URL like
722 @samp{http://site.com/article.cgi?25} will be saved as
723 @file{article.cgi?25.html}.
724
725 Note that filenames changed in this way will be re-downloaded every time
726 you re-mirror a site, because Wget can't tell that the local
727 @file{@var{X}.html} file corresponds to remote URL @samp{@var{X}} (since
728 it doesn't yet know that the URL produces output of type
729 @samp{text/html}.  To prevent this re-downloading, you must use
730 @samp{-k} and @samp{-K} so that the original version of the file will be
731 saved as @file{@var{X}.orig} (@pxref{Recursive Retrieval Options}).
732
733 @cindex http user
734 @cindex http password
735 @cindex authentication
736 @item --http-user=@var{user}
737 @itemx --http-passwd=@var{password}
738 Specify the username @var{user} and password @var{password} on an
739 @sc{http} server.  According to the type of the challenge, Wget will
740 encode them using either the @code{basic} (insecure) or the
741 @code{digest} authentication scheme.
742
743 Another way to specify username and password is in the @sc{url} itself
744 (@pxref{URL Format}).  For more information about security issues with
745 Wget, @xref{Security Considerations}.
746
747 @cindex proxy
748 @cindex cache
749 @item -C on/off
750 @itemx --cache=on/off
751 When set to off, disable server-side cache.  In this case, Wget will
752 send the remote server an appropriate directive (@samp{Pragma:
753 no-cache}) to get the file from the remote service, rather than
754 returning the cached version.  This is especially useful for retrieving
755 and flushing out-of-date documents on proxy servers.
756
757 Caching is allowed by default.
758
759 @cindex Content-Length, ignore
760 @cindex ignore length
761 @item --ignore-length
762 Unfortunately, some @sc{http} servers (@sc{cgi} programs, to be more
763 precise) send out bogus @code{Content-Length} headers, which makes Wget
764 go wild, as it thinks not all the document was retrieved.  You can spot
765 this syndrome if Wget retries getting the same document again and again,
766 each time claiming that the (otherwise normal) connection has closed on
767 the very same byte.
768
769 With this option, Wget will ignore the @code{Content-Length} header---as
770 if it never existed.
771
772 @cindex header, add
773 @item --header=@var{additional-header}
774 Define an @var{additional-header} to be passed to the @sc{http} servers.
775 Headers must contain a @samp{:} preceded by one or more non-blank
776 characters, and must not contain newlines.
777
778 You may define more than one additional header by specifying
779 @samp{--header} more than once.
780
781 @example
782 @group
783 wget --header='Accept-Charset: iso-8859-2' \
784      --header='Accept-Language: hr'        \
785        http://fly.srk.fer.hr/
786 @end group
787 @end example
788
789 Specification of an empty string as the header value will clear all
790 previous user-defined headers.
791
792 @cindex proxy user
793 @cindex proxy password
794 @cindex proxy authentication
795 @item --proxy-user=@var{user}
796 @itemx --proxy-passwd=@var{password}
797 Specify the username @var{user} and password @var{password} for
798 authentication on a proxy server.  Wget will encode them using the
799 @code{basic} authentication scheme.
800
801 @cindex http referer
802 @cindex referer, http
803 @item --referer=@var{url}
804 Include `Referer: @var{url}' header in HTTP request.  Useful for
805 retrieving documents with server-side processing that assume they are
806 always being retrieved by interactive web browsers and only come out
807 properly when Referer is set to one of the pages that point to them.
808
809 @cindex server response, save
810 @item -s
811 @itemx --save-headers
812 Save the headers sent by the @sc{http} server to the file, preceding the
813 actual contents, with an empty line as the separator.
814
815 @cindex user-agent
816 @item -U @var{agent-string}
817 @itemx --user-agent=@var{agent-string}
818 Identify as @var{agent-string} to the @sc{http} server.
819
820 The @sc{http} protocol allows the clients to identify themselves using a
821 @code{User-Agent} header field.  This enables distinguishing the
822 @sc{www} software, usually for statistical purposes or for tracing of
823 protocol violations.  Wget normally identifies as
824 @samp{Wget/@var{version}}, @var{version} being the current version
825 number of Wget.
826
827 However, some sites have been known to impose the policy of tailoring
828 the output according to the @code{User-Agent}-supplied information.
829 While conceptually this is not such a bad idea, it has been abused by
830 servers denying information to clients other than @code{Mozilla} or
831 Microsoft @code{Internet Explorer}.  This option allows you to change
832 the @code{User-Agent} line issued by Wget.  Use of this option is
833 discouraged, unless you really know what you are doing.
834 @end table
835
836 @node FTP Options, Recursive Retrieval Options, HTTP Options, Invoking
837 @section FTP Options
838
839 @table @samp
840 @cindex symbolic links, retrieving
841 @item --retr-symlinks
842 Usually, when retrieving @sc{ftp} directories recursively and a symbolic
843 link is encountered, the linked-to file is not downloaded.  Instead, a
844 matching symbolic link is created on the local filesystem.  The
845 pointed-to file will not be downloaded unless this recursive retrieval
846 would have encountered it separately and downloaded it anyway.
847
848 When @samp{--retr-symlinks} is specified, however, symbolic links are
849 traversed and the pointed-to files are retrieved.  At this time, this
850 option does not cause Wget to traverse symlinks to directories and
851 recurse through them, but in the future it should be enhanced to do
852 this.
853
854 Note that when retrieving a file (not a directory) because it was
855 specified on the commandline, rather than because it was recursed to,
856 this option has no effect.  Symbolic links are always traversed in this
857 case.
858
859 @cindex globbing, toggle
860 @item -g on/off
861 @itemx --glob=on/off
862 Turn @sc{ftp} globbing on or off.  Globbing means you may use the
863 shell-like special characters (@dfn{wildcards}), like @samp{*},
864 @samp{?}, @samp{[} and @samp{]} to retrieve more than one file from the
865 same directory at once, like:
866
867 @example
868 wget ftp://gnjilux.srk.fer.hr/*.msg
869 @end example
870
871 By default, globbing will be turned on if the @sc{url} contains a
872 globbing character.  This option may be used to turn globbing on or off
873 permanently.
874
875 You may have to quote the @sc{url} to protect it from being expanded by
876 your shell.  Globbing makes Wget look for a directory listing, which is
877 system-specific.  This is why it currently works only with Unix @sc{ftp}
878 servers (and the ones emulating Unix @code{ls} output).
879
880 @cindex passive ftp
881 @item --passive-ftp
882 Use the @dfn{passive} @sc{ftp} retrieval scheme, in which the client
883 initiates the data connection.  This is sometimes required for @sc{ftp}
884 to work behind firewalls.
885 @end table
886
887 @node Recursive Retrieval Options, Recursive Accept/Reject Options, FTP Options, Invoking
888 @section Recursive Retrieval Options
889
890 @table @samp
891 @item -r
892 @itemx --recursive
893 Turn on recursive retrieving.  @xref{Recursive Retrieval}, for more
894 details.
895
896 @item -l @var{depth}
897 @itemx --level=@var{depth}
898 Specify recursion maximum depth level @var{depth} (@pxref{Recursive
899 Retrieval}).  The default maximum depth is 5.
900
901 @cindex proxy filling
902 @cindex delete after retrieval
903 @cindex filling proxy cache
904 @item --delete-after
905 This option tells Wget to delete every single file it downloads,
906 @emph{after} having done so.  It is useful for pre-fetching popular
907 pages through a proxy, e.g.:
908
909 @example
910 wget -r -nd --delete-after http://whatever.com/~popular/page/
911 @end example
912
913 The @samp{-r} option is to retrieve recursively, and @samp{-nd} to not
914 create directories.  
915
916 Note that @samp{--delete-after} deletes files on the local machine.  It
917 does not issue the @samp{DELE} command to remote FTP sites, for
918 instance.  Also note that when @samp{--delete-after} is specified,
919 @samp{--convert-links} is ignored, so @samp{.orig} files are simply not
920 created in the first place.
921
922 @cindex conversion of links
923 @cindex link conversion
924 @item -k
925 @itemx --convert-links
926 Convert the non-relative links to relative ones locally.  Only the
927 references to the documents actually downloaded will be converted; the
928 rest will be left unchanged.
929
930 Note that only at the end of the download can Wget know which links have
931 been downloaded.  Because of that, much of the work done by @samp{-k}
932 will be performed at the end of the downloads.
933
934 @cindex backing up converted files
935 @item -K
936 @itemx --backup-converted
937 When converting a file, back up the original version with a @samp{.orig}
938 suffix.  Affects the behavior of @samp{-N} (@pxref{HTTP Time-Stamping
939 Internals}).
940
941 @item -m
942 @itemx --mirror
943 Turn on options suitable for mirroring.  This option turns on recursion
944 and time-stamping, sets infinite recursion depth and keeps @sc{ftp}
945 directory listings.  It is currently equivalent to
946 @samp{-r -N -l inf -nr}.
947
948 @item -nr
949 @itemx --dont-remove-listing
950 Don't remove the temporary @file{.listing} files generated by @sc{ftp}
951 retrievals.  Normally, these files contain the raw directory listings
952 received from @sc{ftp} servers.  Not removing them can be useful to
953 access the full remote file list when running a mirror, or for debugging
954 purposes.
955
956 @cindex page requisites
957 @cindex required images, downloading
958 @item -p
959 @itemx --page-requisites
960 This option causes Wget to download all the files that are necessary to
961 properly display a given HTML page.  This includes such things as
962 inlined images, sounds, and referenced stylesheets.
963
964 Ordinarily, when downloading a single HTML page, any requisite documents
965 that may be needed to display it properly are not downloaded.  Using
966 @samp{-r} together with @samp{-l} can help, but since Wget does not
967 ordinarily distinguish between external and inlined documents, one is
968 generally left with ``leaf documents'' that are missing their
969 requisites.
970
971 For instance, say document @file{1.html} contains an @code{<IMG>} tag
972 referencing @file{1.gif} and an @code{<A>} tag pointing to external
973 document @file{2.html}.  Say that @file{2.html} is the same but that its
974 image is @file{2.gif} and it links to @file{3.html}.  Say this
975 continues up to some arbitrarily high number.
976
977 If one executes the command:
978
979 @example
980 wget -r -l 2 http://@var{site}/1.html
981 @end example
982
983 then @file{1.html}, @file{1.gif}, @file{2.html}, @file{2.gif}, and
984 @file{3.html} will be downloaded.  As you can see, @file{3.html} is
985 without its requisite @file{3.gif} because Wget is simply counting the
986 number of hops (up to 2) away from @file{1.html} in order to determine
987 where to stop the recursion.  However, with this command:
988
989 @example
990 wget -r -l 2 -p http://@var{site}/1.html
991 @end example
992
993 all the above files @emph{and} @file{3.html}'s requisite @file{3.gif}
994 will be downloaded.  Similarly,
995
996 @example
997 wget -r -l 1 -p http://@var{site}/1.html
998 @end example
999
1000 will cause @file{1.html}, @file{1.gif}, @file{2.html}, and @file{2.gif}
1001 to be downloaded.  One might think that:
1002
1003 @example
1004 wget -r -l 0 -p http://@var{site}/1.html
1005 @end example
1006
1007 would download just @file{1.html} and @file{1.gif}, but unfortunately
1008 this is not the case, because @samp{-l 0} is equivalent to
1009 @samp{-l inf}---that is, infinite recursion.  To download a single HTML
1010 page (or a handful of them, all specified on the commandline or in a
1011 @samp{-i} @sc{url} input file) and its requisites, simply leave off
1012 @samp{-p} and @samp{-l}:
1013
1014 @example
1015 wget -p http://@var{site}/1.html
1016 @end example
1017
1018 Note that Wget will behave as if @samp{-r} had been specified, but only
1019 that single page and its requisites will be downloaded.  Links from that
1020 page to external documents will not be followed.  Actually, to download
1021 a single page and all its requisites (even if they exist on separate
1022 websites), and make sure the lot displays properly locally, this author
1023 likes to use a few options in addition to @samp{-p}:
1024
1025 @example
1026 wget -E -H -k -K -nh -p http://@var{site}/@var{document}
1027 @end example
1028
1029 To finish off this topic, it's worth knowing that Wget's idea of an
1030 external document link is any URL specified in an @code{<A>} tag, an
1031 @code{<AREA>} tag, or a @code{<LINK>} tag other than @code{<LINK
1032 REL="stylesheet">}.
1033 @end table
1034
1035 @node Recursive Accept/Reject Options,  , Recursive Retrieval Options, Invoking
1036 @section Recursive Accept/Reject Options
1037
1038 @table @samp
1039 @item -A @var{acclist} --accept @var{acclist}
1040 @itemx -R @var{rejlist} --reject @var{rejlist}
1041 Specify comma-separated lists of file name suffixes or patterns to
1042 accept or reject (@pxref{Types of Files} for more details).
1043
1044 @item -D @var{domain-list}
1045 @itemx --domains=@var{domain-list}
1046 Set domains to be accepted and @sc{dns} looked-up, where
1047 @var{domain-list} is a comma-separated list.  Note that it does
1048 @emph{not} turn on @samp{-H}.  This option speeds things up, even if
1049 only one host is spanned (@pxref{Domain Acceptance}).
1050
1051 @item --exclude-domains @var{domain-list}
1052 Exclude the domains given in a comma-separated @var{domain-list} from
1053 @sc{dns}-lookup (@pxref{Domain Acceptance}).
1054
1055 @cindex follow FTP links
1056 @item --follow-ftp
1057 Follow @sc{ftp} links from @sc{html} documents.  Without this option,
1058 Wget will ignore all the @sc{ftp} links.
1059
1060 @cindex tag-based recursive pruning
1061 @item --follow-tags=@var{list}
1062 Wget has an internal table of HTML tag / attribute pairs that it
1063 considers when looking for linked documents during a recursive
1064 retrieval.  If a user wants only a subset of those tags to be
1065 considered, however, he or she should be specify such tags in a
1066 comma-separated @var{list} with this option.
1067
1068 @item -G @var{list}
1069 @itemx --ignore-tags=@var{list}
1070 This is the opposite of the @samp{--follow-tags} option.  To skip
1071 certain HTML tags when recursively looking for documents to download,
1072 specify them in a comma-separated @var{list}.  
1073
1074 In the past, the @samp{-G} option was the best bet for downloading a
1075 single page and its requisites, using a commandline like:
1076
1077 @example
1078 wget -Ga,area -H -k -K -nh -r http://@var{site}/@var{document}
1079 @end example
1080
1081 However, the author of this option came across a page with tags like
1082 @code{<LINK REL="home" HREF="/">} and came to the realization that
1083 @samp{-G} was not enough.  One can't just tell Wget to ignore
1084 @code{<LINK>}, because then stylesheets will not be downloaded.  Now the
1085 best bet for downloading a single page and its requisites is the
1086 dedicated @samp{--page-requisites} option.
1087
1088 @item -H
1089 @itemx --span-hosts
1090 Enable spanning across hosts when doing recursive retrieving (@pxref{All
1091 Hosts}).
1092
1093 @item -L
1094 @itemx --relative
1095 Follow relative links only.  Useful for retrieving a specific home page
1096 without any distractions, not even those from the same hosts
1097 (@pxref{Relative Links}).
1098
1099 @item -I @var{list}
1100 @itemx --include-directories=@var{list}
1101 Specify a comma-separated list of directories you wish to follow when
1102 downloading (@pxref{Directory-Based Limits} for more details.)  Elements
1103 of @var{list} may contain wildcards.
1104
1105 @item -X @var{list}
1106 @itemx --exclude-directories=@var{list}
1107 Specify a comma-separated list of directories you wish to exclude from
1108 download (@pxref{Directory-Based Limits} for more details.)  Elements of
1109 @var{list} may contain wildcards.
1110
1111 @item -nh
1112 @itemx --no-host-lookup
1113 Disable the time-consuming @sc{dns} lookup of almost all hosts
1114 (@pxref{Host Checking}).
1115
1116 @item -np
1117 @item --no-parent
1118 Do not ever ascend to the parent directory when retrieving recursively.
1119 This is a useful option, since it guarantees that only the files
1120 @emph{below} a certain hierarchy will be downloaded.
1121 @xref{Directory-Based Limits}, for more details.
1122 @end table
1123
1124 @node Recursive Retrieval, Following Links, Invoking, Top
1125 @chapter Recursive Retrieval
1126 @cindex recursion
1127 @cindex retrieving
1128 @cindex recursive retrieval
1129
1130 GNU Wget is capable of traversing parts of the Web (or a single
1131 @sc{http} or @sc{ftp} server), depth-first following links and directory
1132 structure.  This is called @dfn{recursive} retrieving, or
1133 @dfn{recursion}.
1134
1135 With @sc{http} @sc{url}s, Wget retrieves and parses the @sc{html} from
1136 the given @sc{url}, documents, retrieving the files the @sc{html}
1137 document was referring to, through markups like @code{href}, or
1138 @code{src}.  If the freshly downloaded file is also of type
1139 @code{text/html}, it will be parsed and followed further.
1140
1141 The maximum @dfn{depth} to which the retrieval may descend is specified
1142 with the @samp{-l} option (the default maximum depth is five layers).
1143 @xref{Recursive Retrieval}.
1144
1145 When retrieving an @sc{ftp} @sc{url} recursively, Wget will retrieve all
1146 the data from the given directory tree (including the subdirectories up
1147 to the specified depth) on the remote server, creating its mirror image
1148 locally.  @sc{ftp} retrieval is also limited by the @code{depth}
1149 parameter.
1150
1151 By default, Wget will create a local directory tree, corresponding to
1152 the one found on the remote server.
1153
1154 Recursive retrieving can find a number of applications, the most
1155 important of which is mirroring.  It is also useful for @sc{www}
1156 presentations, and any other opportunities where slow network
1157 connections should be bypassed by storing the files locally.
1158
1159 You should be warned that invoking recursion may cause grave overloading
1160 on your system, because of the fast exchange of data through the
1161 network; all of this may hamper other users' work.  The same stands for
1162 the foreign server you are mirroring---the more requests it gets in a
1163 rows, the greater is its load.
1164
1165 Careless retrieving can also fill your file system uncontrollably, which
1166 can grind the machine to a halt.
1167
1168 The load can be minimized by lowering the maximum recursion level
1169 (@samp{-l}) and/or by lowering the number of retries (@samp{-t}).  You
1170 may also consider using the @samp{-w} option to slow down your requests
1171 to the remote servers, as well as the numerous options to narrow the
1172 number of followed links (@pxref{Following Links}).
1173
1174 Recursive retrieval is a good thing when used properly.  Please take all
1175 precautions not to wreak havoc through carelessness.
1176
1177 @node Following Links, Time-Stamping, Recursive Retrieval, Top
1178 @chapter Following Links
1179 @cindex links
1180 @cindex following links
1181
1182 When retrieving recursively, one does not wish to retrieve loads of
1183 unnecessary data.  Most of the time the users bear in mind exactly what
1184 they want to download, and want Wget to follow only specific links.
1185
1186 For example, if you wish to download the music archive from
1187 @samp{fly.srk.fer.hr}, you will not want to download all the home pages
1188 that happen to be referenced by an obscure part of the archive.
1189
1190 Wget possesses several mechanisms that allows you to fine-tune which
1191 links it will follow.
1192
1193 @menu
1194 * Relative Links::         Follow relative links only.
1195 * Host Checking::          Follow links on the same host.
1196 * Domain Acceptance::      Check on a list of domains.
1197 * All Hosts::              No host restrictions.
1198 * Types of Files::         Getting only certain files.
1199 * Directory-Based Limits:: Getting only certain directories.
1200 * FTP Links::              Following FTP links.
1201 @end menu
1202
1203 @node Relative Links, Host Checking, Following Links, Following Links
1204 @section Relative Links
1205 @cindex relative links
1206
1207 When only relative links are followed (option @samp{-L}), recursive
1208 retrieving will never span hosts.  No time-expensive @sc{dns}-lookups
1209 will be performed, and the process will be very fast, with the minimum
1210 strain of the network.  This will suit your needs often, especially when
1211 mirroring the output of various @code{x2html} converters, since they
1212 generally output relative links.
1213
1214 @node Host Checking, Domain Acceptance, Relative Links, Following Links
1215 @section Host Checking
1216 @cindex DNS lookup
1217 @cindex host lookup
1218 @cindex host checking
1219
1220 The drawback of following the relative links solely is that humans often
1221 tend to mix them with absolute links to the very same host, and the very
1222 same page.  In this mode (which is the default mode for following links)
1223 all @sc{url}s that refer to the same host will be retrieved.
1224
1225 The problem with this option are the aliases of the hosts and domains.
1226 Thus there is no way for Wget to know that @samp{regoc.srce.hr} and
1227 @samp{www.srce.hr} are the same host, or that @samp{fly.srk.fer.hr} is
1228 the same as @samp{fly.cc.fer.hr}.  Whenever an absolute link is
1229 encountered, the host is @sc{dns}-looked-up with @code{gethostbyname} to
1230 check whether we are maybe dealing with the same hosts.  Although the
1231 results of @code{gethostbyname} are cached, it is still a great
1232 slowdown, e.g. when dealing with large indices of home pages on different
1233 hosts (because each of the hosts must be @sc{dns}-resolved to see
1234 whether it just @emph{might} be an alias of the starting host).
1235
1236 To avoid the overhead you may use @samp{-nh}, which will turn off
1237 @sc{dns}-resolving and make Wget compare hosts literally.  This will
1238 make things run much faster, but also much less reliable
1239 (e.g. @samp{www.srce.hr} and @samp{regoc.srce.hr} will be flagged as
1240 different hosts).
1241
1242 Note that modern @sc{http} servers allow one IP address to host several
1243 @dfn{virtual servers}, each having its own directory hierarchy.  Such
1244 ``servers'' are distinguished by their hostnames (all of which point to
1245 the same IP address); for this to work, a client must send a @code{Host}
1246 header, which is what Wget does.  However, in that case Wget @emph{must
1247 not} try to divine a host's ``real'' address, nor try to use the same
1248 hostname for each access, i.e. @samp{-nh} must be turned on.
1249
1250 In other words, the @samp{-nh} option must be used to enable the
1251 retrieval from virtual servers distinguished by their hostnames.  As the
1252 number of such server setups grow, the behavior of @samp{-nh} may become
1253 the default in the future.
1254
1255 @node Domain Acceptance, All Hosts, Host Checking, Following Links
1256 @section Domain Acceptance
1257
1258 With the @samp{-D} option you may specify the domains that will be
1259 followed.  The hosts the domain of which is not in this list will not be
1260 @sc{dns}-resolved.  Thus you can specify @samp{-Dmit.edu} just to make
1261 sure that @strong{nothing outside of @sc{mit} gets looked up}.  This is
1262 very important and useful.  It also means that @samp{-D} does @emph{not}
1263 imply @samp{-H} (span all hosts), which must be specified explicitly.
1264 Feel free to use this options since it will speed things up, with almost
1265 all the reliability of checking for all hosts.  Thus you could invoke
1266
1267 @example
1268 wget -r -D.hr http://fly.srk.fer.hr/
1269 @end example
1270
1271 to make sure that only the hosts in @samp{.hr} domain get
1272 @sc{dns}-looked-up for being equal to @samp{fly.srk.fer.hr}.  So
1273 @samp{fly.cc.fer.hr} will be checked (only once!) and found equal, but
1274 @samp{www.gnu.ai.mit.edu} will not even be checked.
1275
1276 Of course, domain acceptance can be used to limit the retrieval to
1277 particular domains with spanning of hosts in them, but then you must
1278 specify @samp{-H} explicitly.  E.g.:
1279
1280 @example
1281 wget -r -H -Dmit.edu,stanford.edu http://www.mit.edu/
1282 @end example
1283
1284 will start with @samp{http://www.mit.edu/}, following links across
1285 @sc{mit} and Stanford.
1286
1287 If there are domains you want to exclude specifically, you can do it
1288 with @samp{--exclude-domains}, which accepts the same type of arguments
1289 of @samp{-D}, but will @emph{exclude} all the listed domains.  For
1290 example, if you want to download all the hosts from @samp{foo.edu}
1291 domain, with the exception of @samp{sunsite.foo.edu}, you can do it like
1292 this:
1293
1294 @example
1295 wget -rH -Dfoo.edu --exclude-domains sunsite.foo.edu http://www.foo.edu/
1296 @end example
1297
1298 @node All Hosts, Types of Files, Domain Acceptance, Following Links
1299 @section All Hosts
1300 @cindex all hosts
1301 @cindex span hosts
1302
1303 When @samp{-H} is specified without @samp{-D}, all hosts are freely
1304 spanned.  There are no restrictions whatsoever as to what part of the
1305 net Wget will go to fetch documents, other than maximum retrieval depth.
1306 If a page references @samp{www.yahoo.com}, so be it.  Such an option is
1307 rarely useful for itself.
1308
1309 @node Types of Files, Directory-Based Limits, All Hosts, Following Links
1310 @section Types of Files
1311 @cindex types of files
1312
1313 When downloading material from the web, you will often want to restrict
1314 the retrieval to only certain file types.  For example, if you are
1315 interested in downloading @sc{gif}s, you will not be overjoyed to get
1316 loads of PostScript documents, and vice versa.
1317
1318 Wget offers two options to deal with this problem.  Each option
1319 description lists a short name, a long name, and the equivalent command
1320 in @file{.wgetrc}.
1321
1322 @cindex accept wildcards
1323 @cindex accept suffixes
1324 @cindex wildcards, accept
1325 @cindex suffixes, accept
1326 @table @samp
1327 @item -A @var{acclist}
1328 @itemx --accept @var{acclist}
1329 @itemx accept = @var{acclist}
1330 The argument to @samp{--accept} option is a list of file suffixes or
1331 patterns that Wget will download during recursive retrieval.  A suffix
1332 is the ending part of a file, and consists of ``normal'' letters,
1333 e.g. @samp{gif} or @samp{.jpg}.  A matching pattern contains shell-like
1334 wildcards, e.g. @samp{books*} or @samp{zelazny*196[0-9]*}.
1335
1336 So, specifying @samp{wget -A gif,jpg} will make Wget download only the
1337 files ending with @samp{gif} or @samp{jpg}, i.e. @sc{gif}s and
1338 @sc{jpeg}s.  On the other hand, @samp{wget -A "zelazny*196[0-9]*"} will
1339 download only files beginning with @samp{zelazny} and containing numbers
1340 from 1960 to 1969 anywhere within.  Look up the manual of your shell for
1341 a description of how pattern matching works.
1342
1343 Of course, any number of suffixes and patterns can be combined into a
1344 comma-separated list, and given as an argument to @samp{-A}.
1345
1346 @cindex reject wildcards
1347 @cindex reject suffixes
1348 @cindex wildcards, reject
1349 @cindex suffixes, reject
1350 @item -R @var{rejlist}
1351 @itemx --reject @var{rejlist}
1352 @itemx reject = @var{rejlist}
1353 The @samp{--reject} option works the same way as @samp{--accept}, only
1354 its logic is the reverse; Wget will download all files @emph{except} the
1355 ones matching the suffixes (or patterns) in the list.
1356
1357 So, if you want to download a whole page except for the cumbersome
1358 @sc{mpeg}s and @sc{.au} files, you can use @samp{wget -R mpg,mpeg,au}.
1359 Analogously, to download all files except the ones beginning with
1360 @samp{bjork}, use @samp{wget -R "bjork*"}.  The quotes are to prevent
1361 expansion by the shell.
1362 @end table
1363
1364 The @samp{-A} and @samp{-R} options may be combined to achieve even
1365 better fine-tuning of which files to retrieve.  E.g. @samp{wget -A
1366 "*zelazny*" -R .ps} will download all the files having @samp{zelazny} as
1367 a part of their name, but @emph{not} the PostScript files.
1368
1369 Note that these two options do not affect the downloading of @sc{html}
1370 files; Wget must load all the @sc{html}s to know where to go at
1371 all---recursive retrieval would make no sense otherwise.
1372
1373 @node Directory-Based Limits, FTP Links, Types of Files, Following Links
1374 @section Directory-Based Limits
1375 @cindex directories
1376 @cindex directory limits
1377
1378 Regardless of other link-following facilities, it is often useful to
1379 place the restriction of what files to retrieve based on the directories
1380 those files are placed in.  There can be many reasons for this---the
1381 home pages may be organized in a reasonable directory structure; or some
1382 directories may contain useless information, e.g. @file{/cgi-bin} or
1383 @file{/dev} directories.
1384
1385 Wget offers three different options to deal with this requirement.  Each
1386 option description lists a short name, a long name, and the equivalent
1387 command in @file{.wgetrc}.
1388
1389 @cindex directories, include
1390 @cindex include directories
1391 @cindex accept directories
1392 @table @samp
1393 @item -I @var{list}
1394 @itemx --include @var{list}
1395 @itemx include_directories = @var{list}
1396 @samp{-I} option accepts a comma-separated list of directories included
1397 in the retrieval.  Any other directories will simply be ignored.  The
1398 directories are absolute paths.
1399
1400 So, if you wish to download from @samp{http://host/people/bozo/}
1401 following only links to bozo's colleagues in the @file{/people}
1402 directory and the bogus scripts in @file{/cgi-bin}, you can specify:
1403
1404 @example
1405 wget -I /people,/cgi-bin http://host/people/bozo/
1406 @end example
1407
1408 @cindex directories, exclude
1409 @cindex exclude directories
1410 @cindex reject directories
1411 @item -X @var{list}
1412 @itemx --exclude @var{list}
1413 @itemx exclude_directories = @var{list}
1414 @samp{-X} option is exactly the reverse of @samp{-I}---this is a list of
1415 directories @emph{excluded} from the download.  E.g. if you do not want
1416 Wget to download things from @file{/cgi-bin} directory, specify @samp{-X
1417 /cgi-bin} on the command line.
1418
1419 The same as with @samp{-A}/@samp{-R}, these two options can be combined
1420 to get a better fine-tuning of downloading subdirectories.  E.g. if you
1421 want to load all the files from @file{/pub} hierarchy except for
1422 @file{/pub/worthless}, specify @samp{-I/pub -X/pub/worthless}.
1423
1424 @cindex no parent
1425 @item -np
1426 @itemx --no-parent
1427 @itemx no_parent = on
1428 The simplest, and often very useful way of limiting directories is
1429 disallowing retrieval of the links that refer to the hierarchy
1430 @dfn{above} than the beginning directory, i.e. disallowing ascent to the
1431 parent directory/directories.
1432
1433 The @samp{--no-parent} option (short @samp{-np}) is useful in this case.
1434 Using it guarantees that you will never leave the existing hierarchy.
1435 Supposing you issue Wget with:
1436
1437 @example
1438 wget -r --no-parent http://somehost/~luzer/my-archive/
1439 @end example
1440
1441 You may rest assured that none of the references to
1442 @file{/~his-girls-homepage/} or @file{/~luzer/all-my-mpegs/} will be
1443 followed.  Only the archive you are interested in will be downloaded.
1444 Essentially, @samp{--no-parent} is similar to
1445 @samp{-I/~luzer/my-archive}, only it handles redirections in a more
1446 intelligent fashion.
1447 @end table
1448
1449 @node FTP Links,  , Directory-Based Limits, Following Links
1450 @section Following FTP Links
1451 @cindex following ftp links
1452
1453 The rules for @sc{ftp} are somewhat specific, as it is necessary for
1454 them to be.  @sc{ftp} links in @sc{html} documents are often included
1455 for purposes of reference, and it is often inconvenient to download them
1456 by default.
1457
1458 To have @sc{ftp} links followed from @sc{html} documents, you need to
1459 specify the @samp{--follow-ftp} option.  Having done that, @sc{ftp}
1460 links will span hosts regardless of @samp{-H} setting.  This is logical,
1461 as @sc{ftp} links rarely point to the same host where the @sc{http}
1462 server resides.  For similar reasons, the @samp{-L} options has no
1463 effect on such downloads.  On the other hand, domain acceptance
1464 (@samp{-D}) and suffix rules (@samp{-A} and @samp{-R}) apply normally.
1465
1466 Also note that followed links to @sc{ftp} directories will not be
1467 retrieved recursively further.
1468
1469 @node Time-Stamping, Startup File, Following Links, Top
1470 @chapter Time-Stamping
1471 @cindex time-stamping
1472 @cindex timestamping
1473 @cindex updating the archives
1474 @cindex incremental updating
1475
1476 One of the most important aspects of mirroring information from the
1477 Internet is updating your archives.
1478
1479 Downloading the whole archive again and again, just to replace a few
1480 changed files is expensive, both in terms of wasted bandwidth and money,
1481 and the time to do the update.  This is why all the mirroring tools
1482 offer the option of incremental updating.
1483
1484 Such an updating mechanism means that the remote server is scanned in
1485 search of @dfn{new} files.  Only those new files will be downloaded in
1486 the place of the old ones.
1487
1488 A file is considered new if one of these two conditions are met:
1489
1490 @enumerate
1491 @item
1492 A file of that name does not already exist locally.
1493
1494 @item
1495 A file of that name does exist, but the remote file was modified more
1496 recently than the local file.
1497 @end enumerate
1498
1499 To implement this, the program needs to be aware of the time of last
1500 modification of both remote and local files.  Such information are
1501 called the @dfn{time-stamps}.
1502
1503 The time-stamping in GNU Wget is turned on using @samp{--timestamping}
1504 (@samp{-N}) option, or through @code{timestamping = on} directive in
1505 @file{.wgetrc}.  With this option, for each file it intends to download,
1506 Wget will check whether a local file of the same name exists.  If it
1507 does, and the remote file is older, Wget will not download it.
1508
1509 If the local file does not exist, or the sizes of the files do not
1510 match, Wget will download the remote file no matter what the time-stamps
1511 say.
1512
1513 @menu
1514 * Time-Stamping Usage::
1515 * HTTP Time-Stamping Internals::
1516 * FTP Time-Stamping Internals::
1517 @end menu
1518
1519 @node Time-Stamping Usage, HTTP Time-Stamping Internals, Time-Stamping, Time-Stamping
1520 @section Time-Stamping Usage
1521 @cindex time-stamping usage
1522 @cindex usage, time-stamping
1523
1524 The usage of time-stamping is simple.  Say you would like to download a
1525 file so that it keeps its date of modification.
1526
1527 @example
1528 wget -S http://www.gnu.ai.mit.edu/
1529 @end example
1530
1531 A simple @code{ls -l} shows that the time stamp on the local file equals
1532 the state of the @code{Last-Modified} header, as returned by the server.
1533 As you can see, the time-stamping info is preserved locally, even
1534 without @samp{-N}.
1535
1536 Several days later, you would like Wget to check if the remote file has
1537 changed, and download it if it has.
1538
1539 @example
1540 wget -N http://www.gnu.ai.mit.edu/
1541 @end example
1542
1543 Wget will ask the server for the last-modified date.  If the local file
1544 is newer, the remote file will not be re-fetched.  However, if the remote
1545 file is more recent, Wget will proceed fetching it normally.
1546
1547 The same goes for @sc{ftp}.  For example:
1548
1549 @example
1550 wget ftp://ftp.ifi.uio.no/pub/emacs/gnus/*
1551 @end example
1552
1553 @code{ls} will show that the timestamps are set according to the state
1554 on the remote server.  Reissuing the command with @samp{-N} will make
1555 Wget re-fetch @emph{only} the files that have been modified.
1556
1557 In both @sc{http} and @sc{ftp} retrieval Wget will time-stamp the local
1558 file correctly (with or without @samp{-N}) if it gets the stamps,
1559 i.e. gets the directory listing for @sc{ftp} or the @code{Last-Modified}
1560 header for @sc{http}.
1561
1562 If you wished to mirror the GNU archive every week, you would use the
1563 following command every week:
1564
1565 @example
1566 wget --timestamping -r ftp://prep.ai.mit.edu/pub/gnu/
1567 @end example
1568
1569 @node HTTP Time-Stamping Internals, FTP Time-Stamping Internals, Time-Stamping Usage, Time-Stamping
1570 @section HTTP Time-Stamping Internals
1571 @cindex http time-stamping
1572
1573 Time-stamping in @sc{http} is implemented by checking of the
1574 @code{Last-Modified} header.  If you wish to retrieve the file
1575 @file{foo.html} through @sc{http}, Wget will check whether
1576 @file{foo.html} exists locally.  If it doesn't, @file{foo.html} will be
1577 retrieved unconditionally.
1578
1579 If the file does exist locally, Wget will first check its local
1580 time-stamp (similar to the way @code{ls -l} checks it), and then send a
1581 @code{HEAD} request to the remote server, demanding the information on
1582 the remote file.
1583
1584 The @code{Last-Modified} header is examined to find which file was
1585 modified more recently (which makes it ``newer'').  If the remote file
1586 is newer, it will be downloaded; if it is older, Wget will give
1587 up.@footnote{As an additional check, Wget will look at the
1588 @code{Content-Length} header, and compare the sizes; if they are not the
1589 same, the remote file will be downloaded no matter what the time-stamp
1590 says.}
1591
1592 When @samp{--backup-converted} (@samp{-K}) is specified in conjunction
1593 with @samp{-N}, server file @samp{@var{X}} is compared to local file
1594 @samp{@var{X}.orig}, if extant, rather than being compared to local file
1595 @samp{@var{X}}, which will always differ if it's been converted by
1596 @samp{--convert-links} (@samp{-k}).
1597
1598 Arguably, @sc{http} time-stamping should be implemented using the
1599 @code{If-Modified-Since} request.
1600
1601 @node FTP Time-Stamping Internals,  , HTTP Time-Stamping Internals, Time-Stamping
1602 @section FTP Time-Stamping Internals
1603 @cindex ftp time-stamping
1604
1605 In theory, @sc{ftp} time-stamping works much the same as @sc{http}, only
1606 @sc{ftp} has no headers---time-stamps must be received from the
1607 directory listings.
1608
1609 For each directory files must be retrieved from, Wget will use the
1610 @code{LIST} command to get the listing.  It will try to analyze the
1611 listing, assuming that it is a Unix @code{ls -l} listing, and extract
1612 the time-stamps.  The rest is exactly the same as for @sc{http}.
1613
1614 Assumption that every directory listing is a Unix-style listing may
1615 sound extremely constraining, but in practice it is not, as many
1616 non-Unix @sc{ftp} servers use the Unixoid listing format because most
1617 (all?) of the clients understand it.  Bear in mind that @sc{rfc959}
1618 defines no standard way to get a file list, let alone the time-stamps.
1619 We can only hope that a future standard will define this.
1620
1621 Another non-standard solution includes the use of @code{MDTM} command
1622 that is supported by some @sc{ftp} servers (including the popular
1623 @code{wu-ftpd}), which returns the exact time of the specified file.
1624 Wget may support this command in the future.
1625
1626 @node Startup File, Examples, Time-Stamping, Top
1627 @chapter Startup File
1628 @cindex startup file
1629 @cindex wgetrc
1630 @cindex .wgetrc
1631 @cindex startup
1632 @cindex .netrc
1633
1634 Once you know how to change default settings of Wget through command
1635 line arguments, you may wish to make some of those settings permanent.
1636 You can do that in a convenient way by creating the Wget startup
1637 file---@file{.wgetrc}.
1638
1639 Besides @file{.wgetrc} is the ``main'' initialization file, it is
1640 convenient to have a special facility for storing passwords.  Thus Wget
1641 reads and interprets the contents of @file{$HOME/.netrc}, if it finds
1642 it.  You can find @file{.netrc} format in your system manuals.
1643
1644 Wget reads @file{.wgetrc} upon startup, recognizing a limited set of
1645 commands.
1646
1647 @menu
1648 * Wgetrc Location::   Location of various wgetrc files.
1649 * Wgetrc Syntax::     Syntax of wgetrc.
1650 * Wgetrc Commands::   List of available commands.
1651 * Sample Wgetrc::     A wgetrc example.
1652 @end menu
1653
1654 @node Wgetrc Location, Wgetrc Syntax, Startup File, Startup File
1655 @section Wgetrc Location
1656 @cindex wgetrc location
1657 @cindex location of wgetrc
1658
1659 When initializing, Wget will look for a @dfn{global} startup file,
1660 @file{/usr/local/etc/wgetrc} by default (or some prefix other than
1661 @file{/usr/local}, if Wget was not installed there) and read commands
1662 from there, if it exists.
1663
1664 Then it will look for the user's file.  If the environmental variable
1665 @code{WGETRC} is set, Wget will try to load that file.  Failing that, no
1666 further attempts will be made.
1667
1668 If @code{WGETRC} is not set, Wget will try to load @file{$HOME/.wgetrc}.
1669
1670 The fact that user's settings are loaded after the system-wide ones
1671 means that in case of collision user's wgetrc @emph{overrides} the
1672 system-wide wgetrc (in @file{/usr/local/etc/wgetrc} by default).
1673 Fascist admins, away!
1674
1675 @node Wgetrc Syntax, Wgetrc Commands, Wgetrc Location, Startup File
1676 @section Wgetrc Syntax
1677 @cindex wgetrc syntax
1678 @cindex syntax of wgetrc
1679
1680 The syntax of a wgetrc command is simple:
1681
1682 @example
1683 variable = value
1684 @end example
1685
1686 The @dfn{variable} will also be called @dfn{command}.  Valid
1687 @dfn{values} are different for different commands.
1688
1689 The commands are case-insensitive and underscore-insensitive.  Thus
1690 @samp{DIr__PrefiX} is the same as @samp{dirprefix}.  Empty lines, lines
1691 beginning with @samp{#} and lines containing white-space only are
1692 discarded.
1693
1694 Commands that expect a comma-separated list will clear the list on an
1695 empty command.  So, if you wish to reset the rejection list specified in
1696 global @file{wgetrc}, you can do it with:
1697
1698 @example
1699 reject =
1700 @end example
1701
1702 @node Wgetrc Commands, Sample Wgetrc, Wgetrc Syntax, Startup File
1703 @section Wgetrc Commands
1704 @cindex wgetrc commands
1705
1706 The complete set of commands is listed below.  Legal values are listed
1707 after the @samp{=}.  Simple Boolean values can be set or unset using
1708 @samp{on} and @samp{off} or @samp{1} and @samp{0}.  A fancier kind of
1709 Boolean allowed in some cases is the @dfn{lockable Boolean}, which may
1710 be set to @samp{on}, @samp{off}, @samp{always}, or @samp{never}.  If an
1711 option is set to @samp{always} or @samp{never}, that value will be
1712 locked in for the duration of the Wget invocation---commandline options
1713 will not override.
1714
1715 Some commands take pseudo-arbitrary values.  @var{address} values can be
1716 hostnames or dotted-quad IP addresses.  @var{n} can be any positive
1717 integer, or @samp{inf} for infinity, where appropriate.  @var{string}
1718 values can be any non-empty string.
1719
1720 Most of these commands have commandline equivalents (@pxref{Invoking}),
1721 though some of the more obscure or rarely used ones do not.
1722
1723 @table @asis
1724 @item accept/reject = @var{string}
1725 Same as @samp{-A}/@samp{-R} (@pxref{Types of Files}).
1726
1727 @item add_hostdir = on/off
1728 Enable/disable host-prefixed file names.  @samp{-nH} disables it.
1729
1730 @item continue = on/off
1731 Enable/disable continuation of the retrieval---the same as @samp{-c}
1732 (which enables it).
1733
1734 @item background = on/off
1735 Enable/disable going to background---the same as @samp{-b} (which
1736 enables it).
1737
1738 @item backup_converted = on/off
1739 Enable/disable saving pre-converted files with the suffix
1740 @samp{.orig}---the same as @samp{-K} (which enables it).
1741
1742 @c @item backups = @var{number}
1743 @c #### Document me!
1744 @c
1745 @item base = @var{string}
1746 Consider relative @sc{url}s in @sc{url} input files forced to be
1747 interpreted as @sc{html} as being relative to @var{string}---the same as
1748 @samp{-B}.
1749
1750 @item bind_address = @var{address}
1751 Bind to @var{address}, like the @samp{--bind-address} option.
1752
1753 @item cache = on/off
1754 When set to off, disallow server-caching.  See the @samp{-C} option.
1755
1756 @item convert links = on/off
1757 Convert non-relative links locally.  The same as @samp{-k}.
1758
1759 @item cut_dirs = @var{n}
1760 Ignore @var{n} remote directory components.
1761
1762 @item debug = on/off
1763 Debug mode, same as @samp{-d}.
1764
1765 @item delete_after = on/off
1766 Delete after download---the same as @samp{--delete-after}.
1767
1768 @item dir_prefix = @var{string}
1769 Top of directory tree---the same as @samp{-P}.
1770
1771 @item dirstruct = on/off
1772 Turning dirstruct on or off---the same as @samp{-x} or @samp{-nd},
1773 respectively.
1774
1775 @item domains = @var{string}
1776 Same as @samp{-D} (@pxref{Domain Acceptance}).
1777
1778 @item dot_bytes = @var{n}
1779 Specify the number of bytes ``contained'' in a dot, as seen throughout
1780 the retrieval (1024 by default).  You can postfix the value with
1781 @samp{k} or @samp{m}, representing kilobytes and megabytes,
1782 respectively.  With dot settings you can tailor the dot retrieval to
1783 suit your needs, or you can use the predefined @dfn{styles}
1784 (@pxref{Download Options}).
1785
1786 @item dots_in_line = @var{n}
1787 Specify the number of dots that will be printed in each line throughout
1788 the retrieval (50 by default).
1789
1790 @item dot_spacing = @var{n}
1791 Specify the number of dots in a single cluster (10 by default).
1792
1793 @item dot_style = @var{string}
1794 Specify the dot retrieval @dfn{style}, as with @samp{--dot-style}.
1795
1796 @item exclude_directories = @var{string}
1797 Specify a comma-separated list of directories you wish to exclude from
1798 download---the same as @samp{-X} (@pxref{Directory-Based Limits}).
1799
1800 @item exclude_domains = @var{string}
1801 Same as @samp{--exclude-domains} (@pxref{Domain Acceptance}).
1802
1803 @item follow_ftp = on/off
1804 Follow @sc{ftp} links from @sc{html} documents---the same as @samp{-f}.
1805
1806 @item follow_tags = @var{string}
1807 Only follow certain HTML tags when doing a recursive retrieval, just like
1808 @samp{--follow-tags}.
1809
1810 @item force_html = on/off
1811 If set to on, force the input filename to be regarded as an @sc{html}
1812 document---the same as @samp{-F}.
1813
1814 @item ftp_proxy = @var{string}
1815 Use @var{string} as @sc{ftp} proxy, instead of the one specified in
1816 environment.
1817
1818 @item glob = on/off
1819 Turn globbing on/off---the same as @samp{-g}.
1820
1821 @item header = @var{string}
1822 Define an additional header, like @samp{--header}.
1823
1824 @item html_extension = on/off
1825 Add a @samp{.html} extension to @samp{text/html} files without it, like
1826 @samp{-E}.
1827
1828 @item http_passwd = @var{string}
1829 Set @sc{http} password.
1830
1831 @item http_proxy = @var{string}
1832 Use @var{string} as @sc{http} proxy, instead of the one specified in
1833 environment.
1834
1835 @item http_user = @var{string}
1836 Set @sc{http} user to @var{string}.
1837
1838 @item ignore_length = on/off
1839 When set to on, ignore @code{Content-Length} header; the same as
1840 @samp{--ignore-length}.
1841
1842 @item ignore_tags = @var{string}
1843 Ignore certain HTML tags when doing a recursive retrieval, just like
1844 @samp{-G} / @samp{--ignore-tags}.
1845
1846 @item include_directories = @var{string}
1847 Specify a comma-separated list of directories you wish to follow when
1848 downloading---the same as @samp{-I}.
1849
1850 @item input = @var{string}
1851 Read the @sc{url}s from @var{string}, like @samp{-i}.
1852
1853 @item kill_longer = on/off
1854 Consider data longer than specified in content-length header as invalid
1855 (and retry getting it).  The default behaviour is to save as much data
1856 as there is, provided there is more than or equal to the value in
1857 @code{Content-Length}.
1858
1859 @item logfile = @var{string}
1860 Set logfile---the same as @samp{-o}.
1861
1862 @item login = @var{string}
1863 Your user name on the remote machine, for @sc{ftp}.  Defaults to
1864 @samp{anonymous}.
1865
1866 @item mirror = on/off
1867 Turn mirroring on/off.  The same as @samp{-m}.
1868
1869 @item netrc = on/off
1870 Turn reading netrc on or off.
1871
1872 @item noclobber = on/off
1873 Same as @samp{-nc}.
1874
1875 @item no_parent = on/off
1876 Disallow retrieving outside the directory hierarchy, like
1877 @samp{--no-parent} (@pxref{Directory-Based Limits}).
1878
1879 @item no_proxy = @var{string}
1880 Use @var{string} as the comma-separated list of domains to avoid in
1881 proxy loading, instead of the one specified in environment.
1882
1883 @item output_document = @var{string}
1884 Set the output filename---the same as @samp{-O}.
1885
1886 @item page_requisites = on/off
1887 Download all ancillary documents necessary for a single HTML page to
1888 display properly---the same as @samp{-p}.
1889
1890 @item passive_ftp = on/off/always/never
1891 Set passive @sc{ftp}---the same as @samp{--passive-ftp}.  Some scripts
1892 and @samp{.pm} (Perl module) files download files using @samp{wget
1893 --passive-ftp}.  If your firewall does not allow this, you can set
1894 @samp{passive_ftp = never} to override the commandline.
1895
1896 @item passwd = @var{string}
1897 Set your @sc{ftp} password to @var{password}.  Without this setting, the
1898 password defaults to @samp{username@@hostname.domainname}.
1899
1900 @item proxy_user = @var{string}
1901 Set proxy authentication user name to @var{string}, like @samp{--proxy-user}.
1902
1903 @item proxy_passwd = @var{string}
1904 Set proxy authentication password to @var{string}, like @samp{--proxy-passwd}.
1905
1906 @item referer = @var{string}
1907 Set HTTP @samp{Referer:} header just like @samp{--referer}.  (Note it
1908 was the folks who wrote the @sc{http} spec who got the spelling of
1909 ``referrer'' wrong.)
1910
1911 @item quiet = on/off
1912 Quiet mode---the same as @samp{-q}.
1913
1914 @item quota = @var{quota}
1915 Specify the download quota, which is useful to put in the global
1916 @file{wgetrc}.  When download quota is specified, Wget will stop
1917 retrieving after the download sum has become greater than quota.  The
1918 quota can be specified in bytes (default), kbytes @samp{k} appended) or
1919 mbytes (@samp{m} appended).  Thus @samp{quota = 5m} will set the quota
1920 to 5 mbytes.  Note that the user's startup file overrides system
1921 settings.
1922
1923 @item reclevel = @var{n}
1924 Recursion level---the same as @samp{-l}.
1925
1926 @item recursive = on/off
1927 Recursive on/off---the same as @samp{-r}.
1928
1929 @item relative_only = on/off
1930 Follow only relative links---the same as @samp{-L} (@pxref{Relative
1931 Links}).
1932
1933 @item remove_listing = on/off
1934 If set to on, remove @sc{ftp} listings downloaded by Wget.  Setting it
1935 to off is the same as @samp{-nr}.
1936
1937 @item retr_symlinks = on/off
1938 When set to on, retrieve symbolic links as if they were plain files; the
1939 same as @samp{--retr-symlinks}.
1940
1941 @item robots = on/off
1942 Use (or not) @file{/robots.txt} file (@pxref{Robots}).  Be sure to know
1943 what you are doing before changing the default (which is @samp{on}).
1944
1945 @item server_response = on/off
1946 Choose whether or not to print the @sc{http} and @sc{ftp} server
1947 responses---the same as @samp{-S}.
1948
1949 @item simple_host_check = on/off
1950 Same as @samp{-nh} (@pxref{Host Checking}).
1951
1952 @item span_hosts = on/off
1953 Same as @samp{-H}.
1954
1955 @item timeout = @var{n}
1956 Set timeout value---the same as @samp{-T}.
1957
1958 @item timestamping = on/off
1959 Turn timestamping on/off.  The same as @samp{-N} (@pxref{Time-Stamping}).
1960
1961 @item tries = @var{n}
1962 Set number of retries per @sc{url}---the same as @samp{-t}.
1963
1964 @item use_proxy = on/off
1965 Turn proxy support on/off.  The same as @samp{-Y}.
1966
1967 @item verbose = on/off
1968 Turn verbose on/off---the same as @samp{-v}/@samp{-nv}.
1969
1970 @item wait = @var{n}
1971 Wait @var{n} seconds between retrievals---the same as @samp{-w}.
1972
1973 @item waitretry = @var{n}
1974 Wait up to @var{n} seconds between retries of failed retrievals
1975 only---the same as @samp{--waitretry}.  Note that this is turned on by
1976 default in the global @file{wgetrc}.
1977 @end table
1978
1979 @node Sample Wgetrc,  , Wgetrc Commands, Startup File
1980 @section Sample Wgetrc
1981 @cindex sample wgetrc
1982
1983 This is the sample initialization file, as given in the distribution.
1984 It is divided in two section---one for global usage (suitable for global
1985 startup file), and one for local usage (suitable for
1986 @file{$HOME/.wgetrc}).  Be careful about the things you change.
1987
1988 Note that almost all the lines are commented out.  For a command to have
1989 any effect, you must remove the @samp{#} character at the beginning of
1990 its line.
1991
1992 @example
1993 @include sample.wgetrc.munged_for_texi_inclusion
1994 @end example
1995
1996 @node Examples, Various, Startup File, Top
1997 @chapter Examples
1998 @cindex examples
1999
2000 The examples are classified into three sections, because of clarity.
2001 The first section is a tutorial for beginners.  The second section
2002 explains some of the more complex program features.  The third section
2003 contains advice for mirror administrators, as well as even more complex
2004 features (that some would call perverted).
2005
2006 @menu
2007 * Simple Usage::        Simple, basic usage of the program.
2008 * Advanced Usage::      Advanced techniques of usage.
2009 * Guru Usage::          Mirroring and the hairy stuff.
2010 @end menu
2011
2012 @node Simple Usage, Advanced Usage, Examples, Examples
2013 @section Simple Usage
2014
2015 @itemize @bullet
2016 @item
2017 Say you want to download a @sc{url}.  Just type:
2018
2019 @example
2020 wget http://fly.srk.fer.hr/
2021 @end example
2022
2023 The response will be something like:
2024
2025 @example
2026 @group
2027 --13:30:45--  http://fly.srk.fer.hr:80/en/
2028            => `index.html'
2029 Connecting to fly.srk.fer.hr:80... connected!
2030 HTTP request sent, awaiting response... 200 OK
2031 Length: 4,694 [text/html]
2032
2033     0K -> ....                                                   [100%]
2034
2035 13:30:46 (23.75 KB/s) - `index.html' saved [4694/4694]
2036 @end group
2037 @end example
2038
2039 @item
2040 But what will happen if the connection is slow, and the file is lengthy?
2041 The connection will probably fail before the whole file is retrieved,
2042 more than once.  In this case, Wget will try getting the file until it
2043 either gets the whole of it, or exceeds the default number of retries
2044 (this being 20).  It is easy to change the number of tries to 45, to
2045 insure that the whole file will arrive safely:
2046
2047 @example
2048 wget --tries=45 http://fly.srk.fer.hr/jpg/flyweb.jpg
2049 @end example
2050
2051 @item
2052 Now let's leave Wget to work in the background, and write its progress
2053 to log file @file{log}.  It is tiring to type @samp{--tries}, so we
2054 shall use @samp{-t}.
2055
2056 @example
2057 wget -t 45 -o log http://fly.srk.fer.hr/jpg/flyweb.jpg &
2058 @end example
2059
2060 The ampersand at the end of the line makes sure that Wget works in the
2061 background.  To unlimit the number of retries, use @samp{-t inf}.
2062
2063 @item
2064 The usage of @sc{ftp} is as simple.  Wget will take care of login and
2065 password.
2066
2067 @example
2068 @group
2069 $ wget ftp://gnjilux.srk.fer.hr/welcome.msg
2070 --10:08:47--  ftp://gnjilux.srk.fer.hr:21/welcome.msg
2071            => `welcome.msg'
2072 Connecting to gnjilux.srk.fer.hr:21... connected!
2073 Logging in as anonymous ... Logged in!
2074 ==> TYPE I ... done.  ==> CWD not needed.
2075 ==> PORT ... done.    ==> RETR welcome.msg ... done.
2076 Length: 1,340 (unauthoritative)
2077
2078     0K -> .                                                      [100%]
2079
2080 10:08:48 (1.28 MB/s) - `welcome.msg' saved [1340]
2081 @end group
2082 @end example
2083
2084 @item
2085 If you specify a directory, Wget will retrieve the directory listing,
2086 parse it and convert it to @sc{html}.  Try:
2087
2088 @example
2089 wget ftp://prep.ai.mit.edu/pub/gnu/
2090 lynx index.html
2091 @end example
2092 @end itemize
2093
2094 @node Advanced Usage, Guru Usage, Simple Usage, Examples
2095 @section Advanced Usage
2096
2097 @itemize @bullet
2098 @item
2099 You would like to read the list of @sc{url}s from a file?  Not a problem
2100 with that:
2101
2102 @example
2103 wget -i file
2104 @end example
2105
2106 If you specify @samp{-} as file name, the @sc{url}s will be read from
2107 standard input.
2108
2109 @item
2110 Create a mirror image of GNU @sc{www} site (with the same directory structure
2111 the original has) with only one try per document, saving the log of the
2112 activities to @file{gnulog}:
2113
2114 @example
2115 wget -r -t1 http://www.gnu.ai.mit.edu/ -o gnulog
2116 @end example
2117
2118 @item
2119 Retrieve the first layer of yahoo links:
2120
2121 @example
2122 wget -r -l1 http://www.yahoo.com/
2123 @end example
2124
2125 @item
2126 Retrieve the index.html of @samp{www.lycos.com}, showing the original
2127 server headers:
2128
2129 @example
2130 wget -S http://www.lycos.com/
2131 @end example
2132
2133 @item
2134 Save the server headers with the file:
2135 @example
2136 wget -s http://www.lycos.com/
2137 more index.html
2138 @end example
2139
2140 @item
2141 Retrieve the first two levels of @samp{wuarchive.wustl.edu}, saving them
2142 to /tmp.
2143
2144 @example
2145 wget -P/tmp -l2 ftp://wuarchive.wustl.edu/
2146 @end example
2147
2148 @item
2149 You want to download all the @sc{gif}s from an @sc{http} directory.
2150 @samp{wget http://host/dir/*.gif} doesn't work, since @sc{http}
2151 retrieval does not support globbing.  In that case, use:
2152
2153 @example
2154 wget -r -l1 --no-parent -A.gif http://host/dir/
2155 @end example
2156
2157 It is a bit of a kludge, but it works.  @samp{-r -l1} means to retrieve
2158 recursively (@pxref{Recursive Retrieval}), with maximum depth of 1.
2159 @samp{--no-parent} means that references to the parent directory are
2160 ignored (@pxref{Directory-Based Limits}), and @samp{-A.gif} means to
2161 download only the @sc{gif} files.  @samp{-A "*.gif"} would have worked
2162 too.
2163
2164 @item
2165 Suppose you were in the middle of downloading, when Wget was
2166 interrupted.  Now you do not want to clobber the files already present.
2167 It would be:
2168
2169 @example
2170 wget -nc -r http://www.gnu.ai.mit.edu/
2171 @end example
2172
2173 @item
2174 If you want to encode your own username and password to @sc{http} or
2175 @sc{ftp}, use the appropriate @sc{url} syntax (@pxref{URL Format}).
2176
2177 @example
2178 wget ftp://hniksic:mypassword@@jagor.srce.hr/.emacs
2179 @end example
2180
2181 @item
2182 If you do not like the default retrieval visualization (1K dots with 10
2183 dots per cluster and 50 dots per line), you can customize it through dot
2184 settings (@pxref{Wgetrc Commands}).  For example, many people like the
2185 ``binary'' style of retrieval, with 8K dots and 512K lines:
2186
2187 @example
2188 wget --dot-style=binary ftp://prep.ai.mit.edu/pub/gnu/README
2189 @end example
2190
2191 You can experiment with other styles, like:
2192
2193 @example
2194 wget --dot-style=mega ftp://ftp.xemacs.org/pub/xemacs/xemacs-20.4/xemacs-20.4.tar.gz
2195 wget --dot-style=micro http://fly.srk.fer.hr/
2196 @end example
2197
2198 To make these settings permanent, put them in your @file{.wgetrc}, as
2199 described before (@pxref{Sample Wgetrc}).
2200 @end itemize
2201
2202 @node Guru Usage,  , Advanced Usage, Examples
2203 @section Guru Usage
2204
2205 @cindex mirroring
2206 @itemize @bullet
2207 @item
2208 If you wish Wget to keep a mirror of a page (or @sc{ftp}
2209 subdirectories), use @samp{--mirror} (@samp{-m}), which is the shorthand
2210 for @samp{-r -N}.  You can put Wget in the crontab file asking it to
2211 recheck a site each Sunday:
2212
2213 @example
2214 crontab
2215 0 0 * * 0 wget --mirror ftp://ftp.xemacs.org/pub/xemacs/ -o /home/me/weeklog
2216 @end example
2217
2218 @item
2219 You may wish to do the same with someone's home page.  But you do not
2220 want to download all those images---you're only interested in @sc{html}.
2221
2222 @example
2223 wget --mirror -A.html http://www.w3.org/
2224 @end example
2225
2226 @item
2227 But what about mirroring the hosts networkologically close to you?  It
2228 seems so awfully slow because of all that @sc{dns} resolving.  Just use
2229 @samp{-D} (@pxref{Domain Acceptance}).
2230
2231 @example
2232 wget -rN -Dsrce.hr http://www.srce.hr/
2233 @end example
2234
2235 Now Wget will correctly find out that @samp{regoc.srce.hr} is the same
2236 as @samp{www.srce.hr}, but will not even take into consideration the
2237 link to @samp{www.mit.edu}.
2238
2239 @item
2240 You have a presentation and would like the dumb absolute links to be
2241 converted to relative?  Use @samp{-k}:
2242
2243 @example
2244 wget -k -r @var{URL}
2245 @end example
2246
2247 @cindex redirecting output
2248 @item
2249 You would like the output documents to go to standard output instead of
2250 to files?  OK, but Wget will automatically shut up (turn on
2251 @samp{--quiet}) to prevent mixing of Wget output and the retrieved
2252 documents.
2253
2254 @example
2255 wget -O - http://jagor.srce.hr/ http://www.srce.hr/
2256 @end example
2257
2258 You can also combine the two options and make weird pipelines to
2259 retrieve the documents from remote hotlists:
2260
2261 @example
2262 wget -O - http://cool.list.com/ | wget --force-html -i -
2263 @end example
2264 @end itemize
2265
2266 @node Various, Appendices, Examples, Top
2267 @chapter Various
2268 @cindex various
2269
2270 This chapter contains all the stuff that could not fit anywhere else.
2271
2272 @menu
2273 * Proxies::             Support for proxy servers
2274 * Distribution::        Getting the latest version.
2275 * Mailing List::        Wget mailing list for announcements and discussion.
2276 * Reporting Bugs::      How and where to report bugs.
2277 * Portability::         The systems Wget works on.
2278 * Signals::             Signal-handling performed by Wget.
2279 @end menu
2280
2281 @node Proxies, Distribution, Various, Various
2282 @section Proxies
2283 @cindex proxies
2284
2285 @dfn{Proxies} are special-purpose @sc{http} servers designed to transfer
2286 data from remote servers to local clients.  One typical use of proxies
2287 is lightening network load for users behind a slow connection.  This is
2288 achieved by channeling all @sc{http} and @sc{ftp} requests through the
2289 proxy which caches the transferred data.  When a cached resource is
2290 requested again, proxy will return the data from cache.  Another use for
2291 proxies is for companies that separate (for security reasons) their
2292 internal networks from the rest of Internet.  In order to obtain
2293 information from the Web, their users connect and retrieve remote data
2294 using an authorized proxy.
2295
2296 Wget supports proxies for both @sc{http} and @sc{ftp} retrievals.  The
2297 standard way to specify proxy location, which Wget recognizes, is using
2298 the following environment variables:
2299
2300 @table @code
2301 @item http_proxy
2302 This variable should contain the @sc{url} of the proxy for @sc{http}
2303 connections.
2304
2305 @item ftp_proxy
2306 This variable should contain the @sc{url} of the proxy for @sc{http}
2307 connections.  It is quite common that @sc{http_proxy} and @sc{ftp_proxy}
2308 are set to the same @sc{url}.
2309
2310 @item no_proxy
2311 This variable should contain a comma-separated list of domain extensions
2312 proxy should @emph{not} be used for.  For instance, if the value of
2313 @code{no_proxy} is @samp{.mit.edu}, proxy will not be used to retrieve
2314 documents from MIT.
2315 @end table
2316
2317 In addition to the environment variables, proxy location and settings
2318 may be specified from within Wget itself.
2319
2320 @table @samp
2321 @item -Y on/off
2322 @itemx --proxy=on/off
2323 @itemx proxy = on/off
2324 This option may be used to turn the proxy support on or off.  Proxy
2325 support is on by default, provided that the appropriate environment
2326 variables are set.
2327
2328 @item http_proxy = @var{URL}
2329 @itemx ftp_proxy = @var{URL}
2330 @itemx no_proxy = @var{string}
2331 These startup file variables allow you to override the proxy settings
2332 specified by the environment.
2333 @end table
2334
2335 Some proxy servers require authorization to enable you to use them.  The
2336 authorization consists of @dfn{username} and @dfn{password}, which must
2337 be sent by Wget.  As with @sc{http} authorization, several
2338 authentication schemes exist.  For proxy authorization only the
2339 @code{Basic} authentication scheme is currently implemented.
2340
2341 You may specify your username and password either through the proxy
2342 @sc{url} or through the command-line options.  Assuming that the
2343 company's proxy is located at @samp{proxy.srce.hr} at port 8001, a proxy
2344 @sc{url} location containing authorization data might look like this:
2345
2346 @example
2347 http://hniksic:mypassword@@proxy.company.com:8001/
2348 @end example
2349
2350 Alternatively, you may use the @samp{proxy-user} and
2351 @samp{proxy-password} options, and the equivalent @file{.wgetrc}
2352 settings @code{proxy_user} and @code{proxy_passwd} to set the proxy
2353 username and password.
2354
2355 @node Distribution, Mailing List, Proxies, Various
2356 @section Distribution
2357 @cindex latest version
2358
2359 Like all GNU utilities, the latest version of Wget can be found at the
2360 master GNU archive site prep.ai.mit.edu, and its mirrors.  For example,
2361 Wget @value{VERSION} can be found at
2362 @url{ftp://prep.ai.mit.edu/gnu/wget/wget-@value{VERSION}.tar.gz}
2363
2364 @node Mailing List, Reporting Bugs, Distribution, Various
2365 @section Mailing List
2366 @cindex mailing list
2367 @cindex list
2368
2369 Wget has its own mailing list at @email{wget@@sunsite.auc.dk}, thanks
2370 to Karsten Thygesen.  The mailing list is for discussion of Wget
2371 features and web, reporting Wget bugs (those that you think may be of
2372 interest to the public) and mailing announcements.  You are welcome to
2373 subscribe.  The more people on the list, the better!
2374
2375 To subscribe, send mail to @email{wget-subscribe@@sunsite.auc.dk}.
2376 the magic word @samp{subscribe} in the subject line.  Unsubscribe by
2377 mailing to @email{wget-unsubscribe@@sunsite.auc.dk}.
2378
2379 The mailing list is archived at @url{http://fly.srk.fer.hr/archive/wget}.
2380
2381 @node Reporting Bugs, Portability, Mailing List, Various
2382 @section Reporting Bugs
2383 @cindex bugs
2384 @cindex reporting bugs
2385 @cindex bug reports
2386
2387 You are welcome to send bug reports about GNU Wget to
2388 @email{bug-wget@@gnu.org}.  The bugs that you think are of the
2389 interest to the public (i.e. more people should be informed about them)
2390 can be Cc-ed to the mailing list at @email{wget@@sunsite.auc.dk}.
2391
2392 Before actually submitting a bug report, please try to follow a few
2393 simple guidelines.
2394
2395 @enumerate
2396 @item
2397 Please try to ascertain that the behaviour you see really is a bug.  If
2398 Wget crashes, it's a bug.  If Wget does not behave as documented,
2399 it's a bug.  If things work strange, but you are not sure about the way
2400 they are supposed to work, it might well be a bug.
2401
2402 @item
2403 Try to repeat the bug in as simple circumstances as possible.  E.g. if
2404 Wget crashes on @samp{wget -rLl0 -t5 -Y0 http://yoyodyne.com -o
2405 /tmp/log}, you should try to see if it will crash with a simpler set of
2406 options.
2407
2408 Also, while I will probably be interested to know the contents of your
2409 @file{.wgetrc} file, just dumping it into the debug message is probably
2410 a bad idea.  Instead, you should first try to see if the bug repeats
2411 with @file{.wgetrc} moved out of the way.  Only if it turns out that
2412 @file{.wgetrc} settings affect the bug, should you mail me the relevant
2413 parts of the file.
2414
2415 @item
2416 Please start Wget with @samp{-d} option and send the log (or the
2417 relevant parts of it).  If Wget was compiled without debug support,
2418 recompile it.  It is @emph{much} easier to trace bugs with debug support
2419 on.
2420
2421 @item
2422 If Wget has crashed, try to run it in a debugger, e.g. @code{gdb `which
2423 wget` core} and type @code{where} to get the backtrace.
2424
2425 @item
2426 Find where the bug is, fix it and send me the patches. :-)
2427 @end enumerate
2428
2429 @node Portability, Signals, Reporting Bugs, Various
2430 @section Portability
2431 @cindex portability
2432 @cindex operating systems
2433
2434 Since Wget uses GNU Autoconf for building and configuring, and avoids
2435 using ``special'' ultra--mega--cool features of any particular Unix, it
2436 should compile (and work) on all common Unix flavors.
2437
2438 Various Wget versions have been compiled and tested under many kinds of
2439 Unix systems, including Solaris, Linux, SunOS, OSF (aka Digital Unix),
2440 Ultrix, *BSD, IRIX, and others; refer to the file @file{MACHINES} in the
2441 distribution directory for a comprehensive list.  If you compile it on
2442 an architecture not listed there, please let me know so I can update it.
2443
2444 Wget should also compile on the other Unix systems, not listed in
2445 @file{MACHINES}.  If it doesn't, please let me know.
2446
2447 Thanks to kind contributors, this version of Wget compiles and works on
2448 Microsoft Windows 95 and Windows NT platforms.  It has been compiled
2449 successfully using MS Visual C++ 4.0, Watcom, and Borland C compilers,
2450 with Winsock as networking software.  Naturally, it is crippled of some
2451 features available on Unix, but it should work as a substitute for
2452 people stuck with Windows.  Note that the Windows port is
2453 @strong{neither tested nor maintained} by me---all questions and
2454 problems should be reported to Wget mailing list at
2455 @email{wget@@sunsite.auc.dk} where the maintainers will look at them.
2456
2457 @node Signals,  , Portability, Various
2458 @section Signals
2459 @cindex signal handling
2460 @cindex hangup
2461
2462 Since the purpose of Wget is background work, it catches the hangup
2463 signal (@code{SIGHUP}) and ignores it.  If the output was on standard
2464 output, it will be redirected to a file named @file{wget-log}.
2465 Otherwise, @code{SIGHUP} is ignored.  This is convenient when you wish
2466 to redirect the output of Wget after having started it.
2467
2468 @example
2469 $ wget http://www.ifi.uio.no/~larsi/gnus.tar.gz &
2470 $ kill -HUP %%     # Redirect the output to wget-log
2471 @end example
2472
2473 Other than that, Wget will not try to interfere with signals in any way.
2474 @kbd{C-c}, @code{kill -TERM} and @code{kill -KILL} should kill it alike.
2475
2476 @node Appendices, Copying, Various, Top
2477 @chapter Appendices
2478
2479 This chapter contains some references I consider useful.
2480
2481 @menu
2482 * Robots::                  Wget as a WWW robot.
2483 * Security Considerations:: Security with Wget.
2484 * Contributors::            People who helped.
2485 @end menu
2486
2487 @node Robots, Security Considerations, Appendices, Appendices
2488 @section Robots
2489 @cindex robots
2490 @cindex robots.txt
2491 @cindex server maintenance
2492
2493 It is extremely easy to make Wget wander aimlessly around a web site,
2494 sucking all the available data in progress.  @samp{wget -r @var{site}},
2495 and you're set.  Great?  Not for the server admin.
2496
2497 While Wget is retrieving static pages, there's not much of a problem.
2498 But for Wget, there is no real difference between the smallest static
2499 page and the hardest, most demanding CGI or dynamic page.  For instance,
2500 a site I know has a section handled by an, uh, bitchin' CGI script that
2501 converts all the Info files to HTML.  The script can and does bring the
2502 machine to its knees without providing anything useful to the
2503 downloader.
2504
2505 For such and similar cases various robot exclusion schemes have been
2506 devised as a means for the server administrators and document authors to
2507 protect chosen portions of their sites from the wandering of robots.
2508
2509 The more popular mechanism is the @dfn{Robots Exclusion Standard}
2510 written by Martijn Koster et al. in 1994.  It is specified by placing a
2511 file named @file{/robots.txt} in the server root, which the robots are
2512 supposed to download and parse.  Wget supports this specification.
2513
2514 Norobots support is turned on only when retrieving recursively, and
2515 @emph{never} for the first page.  Thus, you may issue:
2516
2517 @example
2518 wget -r http://fly.srk.fer.hr/
2519 @end example
2520
2521 First the index of fly.srk.fer.hr will be downloaded.  If Wget finds
2522 anything worth downloading on the same host, only @emph{then} will it
2523 load the robots, and decide whether or not to load the links after all.
2524 @file{/robots.txt} is loaded only once per host.
2525
2526 Note that the exlusion standard discussed here has undergone some
2527 revisions.  However, but Wget supports only the first version of
2528 @sc{res}, the one written by Martijn Koster in 1994, available at
2529 @url{http://info.webcrawler.com/mak/projects/robots/norobots.html}.  A
2530 later version exists in the form of an internet draft
2531 <draft-koster-robots-00.txt> titled ``A Method for Web Robots Control'',
2532 which expired on June 4, 1997.  I am not aware if it ever made to an
2533 @sc{rfc}.  The text of the draft is available at
2534 @url{http://info.webcrawler.com/mak/projects/robots/norobots-rfc.html}.
2535 Wget does not yet support the new directives specified by this draft,
2536 but we plan to add them.
2537
2538 This manual no longer includes the text of the old standard.
2539
2540 The second, less known mechanism, enables the author of an individual
2541 document to specify whether they want the links from the file to be
2542 followed by a robot.  This is achieved using the @code{META} tag, like
2543 this:
2544
2545 @example
2546 <meta name="robots" content="nofollow">
2547 @end example
2548
2549 This is explained in some detail at
2550 @url{http://info.webcrawler.com/mak/projects/robots/meta-user.html}.
2551 Wget supports this method of robot exclusion in addition to the usual
2552 @file{/robots.txt} exclusion.
2553
2554 @node Security Considerations, Contributors, Robots, Appendices
2555 @section Security Considerations
2556 @cindex security
2557
2558 When using Wget, you must be aware that it sends unencrypted passwords
2559 through the network, which may present a security problem.  Here are the
2560 main issues, and some solutions.
2561
2562 @enumerate
2563 @item
2564 The passwords on the command line are visible using @code{ps}.  If this
2565 is a problem, avoid putting passwords from the command line---e.g. you
2566 can use @file{.netrc} for this.
2567
2568 @item
2569 Using the insecure @dfn{basic} authentication scheme, unencrypted
2570 passwords are transmitted through the network routers and gateways.
2571
2572 @item
2573 The @sc{ftp} passwords are also in no way encrypted.  There is no good
2574 solution for this at the moment.
2575
2576 @item
2577 Although the ``normal'' output of Wget tries to hide the passwords,
2578 debugging logs show them, in all forms.  This problem is avoided by
2579 being careful when you send debug logs (yes, even when you send them to
2580 me).
2581 @end enumerate
2582
2583 @node Contributors,  , Security Considerations, Appendices
2584 @section Contributors
2585 @cindex contributors
2586
2587 @iftex
2588 GNU Wget was written by Hrvoje Nik@v{s}i@'{c} @email{hniksic@@arsdigita.com}.
2589 @end iftex
2590 @ifinfo
2591 GNU Wget was written by Hrvoje Niksic @email{hniksic@@arsdigita.com}.
2592 @end ifinfo
2593 However, its development could never have gone as far as it has, were it
2594 not for the help of many people, either with bug reports, feature
2595 proposals, patches, or letters saying ``Thanks!''.
2596
2597 Special thanks goes to the following people (no particular order):
2598
2599 @itemize @bullet
2600 @item
2601 Karsten Thygesen---donated system resources such as the mailing list,
2602 web space, and @sc{ftp} space, along with a lot of time to make these
2603 actually work.
2604
2605 @item
2606 Shawn McHorse---bug reports and patches.
2607
2608 @item
2609 Kaveh R. Ghazi---on-the-fly @code{ansi2knr}-ization.  Lots of
2610 portability fixes.
2611
2612 @item
2613 Gordon Matzigkeit---@file{.netrc} support.
2614
2615 @item
2616 @iftex
2617 Zlatko @v{C}alu@v{s}i@'{c}, Tomislav Vujec and Dra@v{z}en
2618 Ka@v{c}ar---feature suggestions and ``philosophical'' discussions.
2619 @end iftex
2620 @ifinfo
2621 Zlatko Calusic, Tomislav Vujec and Drazen Kacar---feature suggestions
2622 and ``philosophical'' discussions.
2623 @end ifinfo
2624
2625 @item
2626 Darko Budor---initial port to Windows.
2627
2628 @item
2629 Antonio Rosella---help and suggestions, plus the Italian translation.
2630
2631 @item
2632 @iftex
2633 Tomislav Petrovi@'{c}, Mario Miko@v{c}evi@'{c}---many bug reports and
2634 suggestions.
2635 @end iftex
2636 @ifinfo
2637 Tomislav Petrovic, Mario Mikocevic---many bug reports and suggestions.
2638 @end ifinfo
2639
2640 @item
2641 @iftex
2642 Fran@,{c}ois Pinard---many thorough bug reports and discussions.
2643 @end iftex
2644 @ifinfo
2645 Francois Pinard---many thorough bug reports and discussions.
2646 @end ifinfo
2647
2648 @item
2649 Karl Eichwalder---lots of help with internationalization and other
2650 things.
2651
2652 @item
2653 Junio Hamano---donated support for Opie and @sc{http} @code{Digest}
2654 authentication.
2655
2656 @item
2657 Brian Gough---a generous donation.
2658 @end itemize
2659
2660 The following people have provided patches, bug/build reports, useful
2661 suggestions, beta testing services, fan mail and all the other things
2662 that make maintenance so much fun:
2663
2664 Tim Adam,
2665 Adrian Aichner,
2666 Martin Baehr,
2667 Dieter Baron,
2668 Roger Beeman and the Gurus at Cisco,
2669 Dan Berger,
2670 Mark Boyns,
2671 John Burden,
2672 Wanderlei Cavassin,
2673 Gilles Cedoc,
2674 Tim Charron,
2675 Noel Cragg,
2676 @iftex
2677 Kristijan @v{C}onka@v{s},
2678 @end iftex
2679 @ifinfo
2680 Kristijan Conkas,
2681 @end ifinfo
2682 John Daily,
2683 Andrew Davison,
2684 Andrew Deryabin,
2685 Ulrich Drepper,
2686 Marc Duponcheel,
2687 @iftex
2688 Damir D@v{z}eko,
2689 @end iftex
2690 @ifinfo
2691 Damir Dzeko,
2692 @end ifinfo
2693 @iftex
2694 Aleksandar Erkalovi@'{c},
2695 @end iftex
2696 @ifinfo
2697 Aleksandar Erkalovic,
2698 @end ifinfo
2699 Andy Eskilsson,
2700 Masashi Fujita,
2701 Howard Gayle,
2702 Marcel Gerrits,
2703 Hans Grobler,
2704 Mathieu Guillaume,
2705 Dan Harkless,
2706 Heiko Herold,
2707 Karl Heuer,
2708 HIROSE Masaaki,
2709 Gregor Hoffleit,
2710 Erik Magnus Hulthen,
2711 Richard Huveneers,
2712 Simon Josefsson,
2713 @iftex
2714 Mario Juri@'{c},
2715 @end iftex
2716 @ifinfo
2717 Mario Juric,
2718 @end ifinfo
2719 Const Kaplinsky,
2720 @iftex
2721 Goran Kezunovi@'{c},
2722 @end iftex
2723 @ifinfo
2724 Goran Kezunovic,
2725 @end ifinfo
2726 Robert Kleine,
2727 Fila Kolodny,
2728 Alexander Kourakos,
2729 Martin Kraemer,
2730 @tex
2731 $\Sigma\acute{\iota}\mu o\varsigma\;
2732 \Xi\varepsilon\nu\iota\tau\acute{\epsilon}\lambda\lambda\eta\varsigma$
2733 (Simos KSenitellis),
2734 @end tex
2735 @ifinfo
2736 Simos KSenitellis,
2737 @end ifinfo
2738 Hrvoje Lacko,
2739 Daniel S. Lewart,
2740 Dave Love,
2741 Alexander V. Lukyanov,
2742 Jordan Mendelson,
2743 Lin Zhe Min,
2744 Simon Munton,
2745 Charlie Negyesi,
2746 R. K. Owen,
2747 Andrew Pollock,
2748 Steve Pothier,
2749 Jan Prikryl,
2750 Marin Purgar,
2751 Keith Refson,
2752 Tyler Riddle,
2753 Tobias Ringstrom,
2754 @c Texinfo doesn't grok @'{@i}, so we have to use TeX itself.
2755 @tex
2756 Juan Jos\'{e} Rodr\'{\i}gues,
2757 @end tex
2758 @ifinfo
2759 Juan Jose Rodrigues,
2760 @end ifinfo
2761 Edward J. Sabol,
2762 Heinz Salzmann,
2763 Robert Schmidt,
2764 Andreas Schwab,
2765 Toomas Soome,
2766 Tage Stabell-Kulo,
2767 Sven Sternberger,
2768 Markus Strasser,
2769 Szakacsits Szabolcs,
2770 Mike Thomas,
2771 Russell Vincent,
2772 Charles G Waldman,
2773 Douglas E. Wegscheid,
2774 Jasmin Zainul,
2775 @iftex
2776 Bojan @v{Z}drnja,
2777 @end iftex
2778 @ifinfo
2779 Bojan Zdrnja,
2780 @end ifinfo
2781 Kristijan Zimmer.
2782
2783 Apologies to all who I accidentally left out, and many thanks to all the
2784 subscribers of the Wget mailing list.
2785
2786 @node Copying, Concept Index, Appendices, Top
2787 @chapter Copying
2788 @cindex copying
2789 @cindex GPL
2790 @cindex GFDL
2791
2792 Wget is @dfn{free software}, where ``free'' refers to liberty, not
2793 price.  As the GNU people like to say, think of ``free speech'' rather
2794 than ``free beer''.  The exact legal distribution terms follow below,
2795 but in short, you have the right (freedom) to run and change Wget and
2796 distribute it to other people, and even---if you want---charge money for
2797 any of these things.  The sole restriction is that you have to grant
2798 your recipients the same rights.
2799
2800 This method of licensing software is also known as @dfn{open-source},
2801 because it requires that the recipients always receive a program's
2802 source code along with the program.
2803
2804 More specifically:
2805
2806 @quotation
2807 This program is free software; you can redistribute it and/or modify it
2808 under the terms of the GNU General Public License as published by the
2809 Free Software Foundation; either version 2 of the License, or (at your
2810 option) any later version.
2811
2812 This program is distributed in the hope that it will be useful, but
2813 WITHOUT ANY WARRANTY; without even the implied warranty of
2814 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
2815 General Public License for more details.
2816
2817 You should have received a copy of the GNU General Public License
2818 along with this program; if not, write to the Free Software
2819 Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
2820 @end quotation
2821
2822 In addition to this, this manual is free in the same sense:
2823
2824 @quotation
2825 Permission is granted to copy, distribute and/or modify this document
2826 under the terms of the GNU Free Documentation License, Version 1.1 or
2827 any later version published by the Free Software Foundation; with the
2828 Invariant Sections being ``GNU General Public License'' and ``GNU Free
2829 Documentation License'', with no Front-Cover Texts, and with no
2830 Back-Cover Texts.  A copy of the license is included in the section
2831 entitled ``GNU Free Documentation License''.
2832 @end quotation
2833
2834 @c #### Maybe we should wrap these licenses in ifinfo?  Stallman says
2835 @c that the GFDL needs to be present in the manual, and to me it would
2836 @c suck to include the license for the manual and not the license for
2837 @c the program.
2838
2839 The full texts of the GNU General Public License and of the GNU Free
2840 Documentation License are available below.
2841
2842 @menu
2843 * GNU General Public License::
2844 * GNU Free Documentation License::
2845 @end menu
2846
2847 @node GNU General Public License, GNU Free Documentation License, Copying, Copying
2848 @section GNU General Public License
2849 @center Version 2, June 1991
2850
2851 @display
2852 Copyright @copyright{} 1989, 1991 Free Software Foundation, Inc.
2853 675 Mass Ave, Cambridge, MA 02139, USA
2854
2855 Everyone is permitted to copy and distribute verbatim copies
2856 of this license document, but changing it is not allowed.
2857 @end display
2858
2859 @unnumberedsec Preamble
2860
2861   The licenses for most software are designed to take away your
2862 freedom to share and change it.  By contrast, the GNU General Public
2863 License is intended to guarantee your freedom to share and change free
2864 software---to make sure the software is free for all its users.  This
2865 General Public License applies to most of the Free Software
2866 Foundation's software and to any other program whose authors commit to
2867 using it.  (Some other Free Software Foundation software is covered by
2868 the GNU Library General Public License instead.)  You can apply it to
2869 your programs, too.
2870
2871   When we speak of free software, we are referring to freedom, not
2872 price.  Our General Public Licenses are designed to make sure that you
2873 have the freedom to distribute copies of free software (and charge for
2874 this service if you wish), that you receive source code or can get it
2875 if you want it, that you can change the software or use pieces of it
2876 in new free programs; and that you know you can do these things.
2877
2878   To protect your rights, we need to make restrictions that forbid
2879 anyone to deny you these rights or to ask you to surrender the rights.
2880 These restrictions translate to certain responsibilities for you if you
2881 distribute copies of the software, or if you modify it.
2882
2883   For example, if you distribute copies of such a program, whether
2884 gratis or for a fee, you must give the recipients all the rights that
2885 you have.  You must make sure that they, too, receive or can get the
2886 source code.  And you must show them these terms so they know their
2887 rights.
2888
2889   We protect your rights with two steps: (1) copyright the software, and
2890 (2) offer you this license which gives you legal permission to copy,
2891 distribute and/or modify the software.
2892
2893   Also, for each author's protection and ours, we want to make certain
2894 that everyone understands that there is no warranty for this free
2895 software.  If the software is modified by someone else and passed on, we
2896 want its recipients to know that what they have is not the original, so
2897 that any problems introduced by others will not reflect on the original
2898 authors' reputations.
2899
2900   Finally, any free program is threatened constantly by software
2901 patents.  We wish to avoid the danger that redistributors of a free
2902 program will individually obtain patent licenses, in effect making the
2903 program proprietary.  To prevent this, we have made it clear that any
2904 patent must be licensed for everyone's free use or not licensed at all.
2905
2906   The precise terms and conditions for copying, distribution and
2907 modification follow.
2908
2909 @iftex
2910 @unnumberedsec TERMS AND CONDITIONS FOR COPYING, DISTRIBUTION AND MODIFICATION
2911 @end iftex
2912 @ifinfo
2913 @center TERMS AND CONDITIONS FOR COPYING, DISTRIBUTION AND MODIFICATION
2914 @end ifinfo
2915
2916 @enumerate
2917 @item
2918 This License applies to any program or other work which contains
2919 a notice placed by the copyright holder saying it may be distributed
2920 under the terms of this General Public License.  The ``Program'', below,
2921 refers to any such program or work, and a ``work based on the Program''
2922 means either the Program or any derivative work under copyright law:
2923 that is to say, a work containing the Program or a portion of it,
2924 either verbatim or with modifications and/or translated into another
2925 language.  (Hereinafter, translation is included without limitation in
2926 the term ``modification''.)  Each licensee is addressed as ``you''.
2927
2928 Activities other than copying, distribution and modification are not
2929 covered by this License; they are outside its scope.  The act of
2930 running the Program is not restricted, and the output from the Program
2931 is covered only if its contents constitute a work based on the
2932 Program (independent of having been made by running the Program).
2933 Whether that is true depends on what the Program does.
2934
2935 @item
2936 You may copy and distribute verbatim copies of the Program's
2937 source code as you receive it, in any medium, provided that you
2938 conspicuously and appropriately publish on each copy an appropriate
2939 copyright notice and disclaimer of warranty; keep intact all the
2940 notices that refer to this License and to the absence of any warranty;
2941 and give any other recipients of the Program a copy of this License
2942 along with the Program.
2943
2944 You may charge a fee for the physical act of transferring a copy, and
2945 you may at your option offer warranty protection in exchange for a fee.
2946
2947 @item
2948 You may modify your copy or copies of the Program or any portion
2949 of it, thus forming a work based on the Program, and copy and
2950 distribute such modifications or work under the terms of Section 1
2951 above, provided that you also meet all of these conditions:
2952
2953 @enumerate a
2954 @item
2955 You must cause the modified files to carry prominent notices
2956 stating that you changed the files and the date of any change.
2957
2958 @item
2959 You must cause any work that you distribute or publish, that in
2960 whole or in part contains or is derived from the Program or any
2961 part thereof, to be licensed as a whole at no charge to all third
2962 parties under the terms of this License.
2963
2964 @item
2965 If the modified program normally reads commands interactively
2966 when run, you must cause it, when started running for such
2967 interactive use in the most ordinary way, to print or display an
2968 announcement including an appropriate copyright notice and a
2969 notice that there is no warranty (or else, saying that you provide
2970 a warranty) and that users may redistribute the program under
2971 these conditions, and telling the user how to view a copy of this
2972 License.  (Exception: if the Program itself is interactive but
2973 does not normally print such an announcement, your work based on
2974 the Program is not required to print an announcement.)
2975 @end enumerate
2976
2977 These requirements apply to the modified work as a whole.  If
2978 identifiable sections of that work are not derived from the Program,
2979 and can be reasonably considered independent and separate works in
2980 themselves, then this License, and its terms, do not apply to those
2981 sections when you distribute them as separate works.  But when you
2982 distribute the same sections as part of a whole which is a work based
2983 on the Program, the distribution of the whole must be on the terms of
2984 this License, whose permissions for other licensees extend to the
2985 entire whole, and thus to each and every part regardless of who wrote it.
2986
2987 Thus, it is not the intent of this section to claim rights or contest
2988 your rights to work written entirely by you; rather, the intent is to
2989 exercise the right to control the distribution of derivative or
2990 collective works based on the Program.
2991
2992 In addition, mere aggregation of another work not based on the Program
2993 with the Program (or with a work based on the Program) on a volume of
2994 a storage or distribution medium does not bring the other work under
2995 the scope of this License.
2996
2997 @item
2998 You may copy and distribute the Program (or a work based on it,
2999 under Section 2) in object code or executable form under the terms of
3000 Sections 1 and 2 above provided that you also do one of the following:
3001
3002 @enumerate a
3003 @item
3004 Accompany it with the complete corresponding machine-readable
3005 source code, which must be distributed under the terms of Sections
3006 1 and 2 above on a medium customarily used for software interchange; or,
3007
3008 @item
3009 Accompany it with a written offer, valid for at least three
3010 years, to give any third party, for a charge no more than your
3011 cost of physically performing source distribution, a complete
3012 machine-readable copy of the corresponding source code, to be
3013 distributed under the terms of Sections 1 and 2 above on a medium
3014 customarily used for software interchange; or,
3015
3016 @item
3017 Accompany it with the information you received as to the offer
3018 to distribute corresponding source code.  (This alternative is
3019 allowed only for noncommercial distribution and only if you
3020 received the program in object code or executable form with such
3021 an offer, in accord with Subsection b above.)
3022 @end enumerate
3023
3024 The source code for a work means the preferred form of the work for
3025 making modifications to it.  For an executable work, complete source
3026 code means all the source code for all modules it contains, plus any
3027 associated interface definition files, plus the scripts used to
3028 control compilation and installation of the executable.  However, as a
3029 special exception, the source code distributed need not include
3030 anything that is normally distributed (in either source or binary
3031 form) with the major components (compiler, kernel, and so on) of the
3032 operating system on which the executable runs, unless that component
3033 itself accompanies the executable.
3034
3035 If distribution of executable or object code is made by offering
3036 access to copy from a designated place, then offering equivalent
3037 access to copy the source code from the same place counts as
3038 distribution of the source code, even though third parties are not
3039 compelled to copy the source along with the object code.
3040
3041 @item
3042 You may not copy, modify, sublicense, or distribute the Program
3043 except as expressly provided under this License.  Any attempt
3044 otherwise to copy, modify, sublicense or distribute the Program is
3045 void, and will automatically terminate your rights under this License.
3046 However, parties who have received copies, or rights, from you under
3047 this License will not have their licenses terminated so long as such
3048 parties remain in full compliance.
3049
3050 @item
3051 You are not required to accept this License, since you have not
3052 signed it.  However, nothing else grants you permission to modify or
3053 distribute the Program or its derivative works.  These actions are
3054 prohibited by law if you do not accept this License.  Therefore, by
3055 modifying or distributing the Program (or any work based on the
3056 Program), you indicate your acceptance of this License to do so, and
3057 all its terms and conditions for copying, distributing or modifying
3058 the Program or works based on it.
3059
3060 @item
3061 Each time you redistribute the Program (or any work based on the
3062 Program), the recipient automatically receives a license from the
3063 original licensor to copy, distribute or modify the Program subject to
3064 these terms and conditions.  You may not impose any further
3065 restrictions on the recipients' exercise of the rights granted herein.
3066 You are not responsible for enforcing compliance by third parties to
3067 this License.
3068
3069 @item
3070 If, as a consequence of a court judgment or allegation of patent
3071 infringement or for any other reason (not limited to patent issues),
3072 conditions are imposed on you (whether by court order, agreement or
3073 otherwise) that contradict the conditions of this License, they do not
3074 excuse you from the conditions of this License.  If you cannot
3075 distribute so as to satisfy simultaneously your obligations under this
3076 License and any other pertinent obligations, then as a consequence you
3077 may not distribute the Program at all.  For example, if a patent
3078 license would not permit royalty-free redistribution of the Program by
3079 all those who receive copies directly or indirectly through you, then
3080 the only way you could satisfy both it and this License would be to
3081 refrain entirely from distribution of the Program.
3082
3083 If any portion of this section is held invalid or unenforceable under
3084 any particular circumstance, the balance of the section is intended to
3085 apply and the section as a whole is intended to apply in other
3086 circumstances.
3087
3088 It is not the purpose of this section to induce you to infringe any
3089 patents or other property right claims or to contest validity of any
3090 such claims; this section has the sole purpose of protecting the
3091 integrity of the free software distribution system, which is
3092 implemented by public license practices.  Many people have made
3093 generous contributions to the wide range of software distributed
3094 through that system in reliance on consistent application of that
3095 system; it is up to the author/donor to decide if he or she is willing
3096 to distribute software through any other system and a licensee cannot
3097 impose that choice.
3098
3099 This section is intended to make thoroughly clear what is believed to
3100 be a consequence of the rest of this License.
3101
3102 @item
3103 If the distribution and/or use of the Program is restricted in
3104 certain countries either by patents or by copyrighted interfaces, the
3105 original copyright holder who places the Program under this License
3106 may add an explicit geographical distribution limitation excluding
3107 those countries, so that distribution is permitted only in or among
3108 countries not thus excluded.  In such case, this License incorporates
3109 the limitation as if written in the body of this License.
3110
3111 @item
3112 The Free Software Foundation may publish revised and/or new versions
3113 of the General Public License from time to time.  Such new versions will
3114 be similar in spirit to the present version, but may differ in detail to
3115 address new problems or concerns.
3116
3117 Each version is given a distinguishing version number.  If the Program
3118 specifies a version number of this License which applies to it and ``any
3119 later version'', you have the option of following the terms and conditions
3120 either of that version or of any later version published by the Free
3121 Software Foundation.  If the Program does not specify a version number of
3122 this License, you may choose any version ever published by the Free Software
3123 Foundation.
3124
3125 @item
3126 If you wish to incorporate parts of the Program into other free
3127 programs whose distribution conditions are different, write to the author
3128 to ask for permission.  For software which is copyrighted by the Free
3129 Software Foundation, write to the Free Software Foundation; we sometimes
3130 make exceptions for this.  Our decision will be guided by the two goals
3131 of preserving the free status of all derivatives of our free software and
3132 of promoting the sharing and reuse of software generally.
3133
3134 @iftex
3135 @heading NO WARRANTY
3136 @end iftex
3137 @ifinfo
3138 @center NO WARRANTY
3139 @end ifinfo
3140 @cindex no warranty
3141
3142 @item
3143 BECAUSE THE PROGRAM IS LICENSED FREE OF CHARGE, THERE IS NO WARRANTY
3144 FOR THE PROGRAM, TO THE EXTENT PERMITTED BY APPLICABLE LAW.  EXCEPT WHEN
3145 OTHERWISE STATED IN WRITING THE COPYRIGHT HOLDERS AND/OR OTHER PARTIES
3146 PROVIDE THE PROGRAM ``AS IS'' WITHOUT WARRANTY OF ANY KIND, EITHER EXPRESSED
3147 OR IMPLIED, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF
3148 MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE.  THE ENTIRE RISK AS
3149 TO THE QUALITY AND PERFORMANCE OF THE PROGRAM IS WITH YOU.  SHOULD THE
3150 PROGRAM PROVE DEFECTIVE, YOU ASSUME THE COST OF ALL NECESSARY SERVICING,
3151 REPAIR OR CORRECTION.
3152
3153 @item
3154 IN NO EVENT UNLESS REQUIRED BY APPLICABLE LAW OR AGREED TO IN WRITING
3155 WILL ANY COPYRIGHT HOLDER, OR ANY OTHER PARTY WHO MAY MODIFY AND/OR
3156 REDISTRIBUTE THE PROGRAM AS PERMITTED ABOVE, BE LIABLE TO YOU FOR DAMAGES,
3157 INCLUDING ANY GENERAL, SPECIAL, INCIDENTAL OR CONSEQUENTIAL DAMAGES ARISING
3158 OUT OF THE USE OR INABILITY TO USE THE PROGRAM (INCLUDING BUT NOT LIMITED
3159 TO LOSS OF DATA OR DATA BEING RENDERED INACCURATE OR LOSSES SUSTAINED BY
3160 YOU OR THIRD PARTIES OR A FAILURE OF THE PROGRAM TO OPERATE WITH ANY OTHER
3161 PROGRAMS), EVEN IF SUCH HOLDER OR OTHER PARTY HAS BEEN ADVISED OF THE
3162 POSSIBILITY OF SUCH DAMAGES.
3163 @end enumerate
3164
3165 @iftex
3166 @heading END OF TERMS AND CONDITIONS
3167 @end iftex
3168 @ifinfo
3169 @center END OF TERMS AND CONDITIONS
3170 @end ifinfo
3171
3172 @page
3173 @unnumberedsec How to Apply These Terms to Your New Programs
3174
3175   If you develop a new program, and you want it to be of the greatest
3176 possible use to the public, the best way to achieve this is to make it
3177 free software which everyone can redistribute and change under these terms.
3178
3179   To do so, attach the following notices to the program.  It is safest
3180 to attach them to the start of each source file to most effectively
3181 convey the exclusion of warranty; and each file should have at least
3182 the ``copyright'' line and a pointer to where the full notice is found.
3183
3184 @smallexample
3185 @var{one line to give the program's name and an idea of what it does.}
3186 Copyright (C) 19@var{yy}  @var{name of author}
3187
3188 This program is free software; you can redistribute it and/or
3189 modify it under the terms of the GNU General Public License
3190 as published by the Free Software Foundation; either version 2
3191 of the License, or (at your option) any later version.
3192
3193 This program is distributed in the hope that it will be useful,
3194 but WITHOUT ANY WARRANTY; without even the implied warranty of
3195 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
3196 GNU General Public License for more details.
3197
3198 You should have received a copy of the GNU General Public License
3199 along with this program; if not, write to the Free Software
3200 Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
3201 @end smallexample
3202
3203 Also add information on how to contact you by electronic and paper mail.
3204
3205 If the program is interactive, make it output a short notice like this
3206 when it starts in an interactive mode:
3207
3208 @smallexample
3209 Gnomovision version 69, Copyright (C) 19@var{yy} @var{name of author}
3210 Gnomovision comes with ABSOLUTELY NO WARRANTY; for details
3211 type `show w'.  This is free software, and you are welcome
3212 to redistribute it under certain conditions; type `show c'
3213 for details.
3214 @end smallexample
3215
3216 The hypothetical commands @samp{show w} and @samp{show c} should show
3217 the appropriate parts of the General Public License.  Of course, the
3218 commands you use may be called something other than @samp{show w} and
3219 @samp{show c}; they could even be mouse-clicks or menu items---whatever
3220 suits your program.
3221
3222 You should also get your employer (if you work as a programmer) or your
3223 school, if any, to sign a ``copyright disclaimer'' for the program, if
3224 necessary.  Here is a sample; alter the names:
3225
3226 @smallexample
3227 @group
3228 Yoyodyne, Inc., hereby disclaims all copyright
3229 interest in the program `Gnomovision'
3230 (which makes passes at compilers) written
3231 by James Hacker.
3232
3233 @var{signature of Ty Coon}, 1 April 1989
3234 Ty Coon, President of Vice
3235 @end group
3236 @end smallexample
3237
3238 This General Public License does not permit incorporating your program into
3239 proprietary programs.  If your program is a subroutine library, you may
3240 consider it more useful to permit linking proprietary applications with the
3241 library.  If this is what you want to do, use the GNU Library General
3242 Public License instead of this License.
3243
3244 @node GNU Free Documentation License,  , GNU General Public License, Copying
3245 @section GNU Free Documentation License
3246 @center Version 1.1, March 2000
3247
3248 @display
3249 Copyright (C) 2000  Free Software Foundation, Inc.
3250 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
3251
3252 Everyone is permitted to copy and distribute verbatim copies
3253 of this license document, but changing it is not allowed.
3254 @end display
3255 @sp 1
3256 @enumerate 0
3257 @item
3258 PREAMBLE
3259
3260 The purpose of this License is to make a manual, textbook, or other
3261 written document ``free'' in the sense of freedom: to assure everyone
3262 the effective freedom to copy and redistribute it, with or without
3263 modifying it, either commercially or noncommercially.  Secondarily,
3264 this License preserves for the author and publisher a way to get
3265 credit for their work, while not being considered responsible for
3266 modifications made by others.
3267
3268 This License is a kind of ``copyleft'', which means that derivative
3269 works of the document must themselves be free in the same sense.  It
3270 complements the GNU General Public License, which is a copyleft
3271 license designed for free software.
3272
3273 We have designed this License in order to use it for manuals for free
3274 software, because free software needs free documentation: a free
3275 program should come with manuals providing the same freedoms that the
3276 software does.  But this License is not limited to software manuals;
3277 it can be used for any textual work, regardless of subject matter or
3278 whether it is published as a printed book.  We recommend this License
3279 principally for works whose purpose is instruction or reference.
3280
3281 @sp 1
3282 @item
3283 APPLICABILITY AND DEFINITIONS
3284
3285 This License applies to any manual or other work that contains a
3286 notice placed by the copyright holder saying it can be distributed
3287 under the terms of this License.  The ``Document'', below, refers to any
3288 such manual or work.  Any member of the public is a licensee, and is
3289 addressed as ``you''.
3290
3291 A ``Modified Version'' of the Document means any work containing the
3292 Document or a portion of it, either copied verbatim, or with
3293 modifications and/or translated into another language.
3294
3295 A ``Secondary Section'' is a named appendix or a front-matter section of
3296 the Document that deals exclusively with the relationship of the
3297 publishers or authors of the Document to the Document's overall subject
3298 (or to related matters) and contains nothing that could fall directly
3299 within that overall subject.  (For example, if the Document is in part a
3300 textbook of mathematics, a Secondary Section may not explain any
3301 mathematics.)  The relationship could be a matter of historical
3302 connection with the subject or with related matters, or of legal,
3303 commercial, philosophical, ethical or political position regarding
3304 them.
3305
3306 The ``Invariant Sections'' are certain Secondary Sections whose titles
3307 are designated, as being those of Invariant Sections, in the notice
3308 that says that the Document is released under this License.
3309
3310 The ``Cover Texts'' are certain short passages of text that are listed,
3311 as Front-Cover Texts or Back-Cover Texts, in the notice that says that
3312 the Document is released under this License.
3313
3314 A ``Transparent'' copy of the Document means a machine-readable copy,
3315 represented in a format whose specification is available to the
3316 general public, whose contents can be viewed and edited directly and
3317 straightforwardly with generic text editors or (for images composed of
3318 pixels) generic paint programs or (for drawings) some widely available
3319 drawing editor, and that is suitable for input to text formatters or
3320 for automatic translation to a variety of formats suitable for input
3321 to text formatters.  A copy made in an otherwise Transparent file
3322 format whose markup has been designed to thwart or discourage
3323 subsequent modification by readers is not Transparent.  A copy that is
3324 not ``Transparent'' is called ``Opaque''.
3325
3326 Examples of suitable formats for Transparent copies include plain
3327 ASCII without markup, Texinfo input format, LaTeX input format, SGML
3328 or XML using a publicly available DTD, and standard-conforming simple
3329 HTML designed for human modification.  Opaque formats include
3330 PostScript, PDF, proprietary formats that can be read and edited only
3331 by proprietary word processors, SGML or XML for which the DTD and/or
3332 processing tools are not generally available, and the
3333 machine-generated HTML produced by some word processors for output
3334 purposes only.
3335
3336 The ``Title Page'' means, for a printed book, the title page itself,
3337 plus such following pages as are needed to hold, legibly, the material
3338 this License requires to appear in the title page.  For works in
3339 formats which do not have any title page as such, ``Title Page'' means
3340 the text near the most prominent appearance of the work's title,
3341 preceding the beginning of the body of the text.
3342 @sp 1
3343 @item
3344 VERBATIM COPYING
3345
3346 You may copy and distribute the Document in any medium, either
3347 commercially or noncommercially, provided that this License, the
3348 copyright notices, and the license notice saying this License applies
3349 to the Document are reproduced in all copies, and that you add no other
3350 conditions whatsoever to those of this License.  You may not use
3351 technical measures to obstruct or control the reading or further
3352 copying of the copies you make or distribute.  However, you may accept
3353 compensation in exchange for copies.  If you distribute a large enough
3354 number of copies you must also follow the conditions in section 3.
3355
3356 You may also lend copies, under the same conditions stated above, and
3357 you may publicly display copies.
3358 @sp 1
3359 @item
3360 COPYING IN QUANTITY
3361
3362 If you publish printed copies of the Document numbering more than 100,
3363 and the Document's license notice requires Cover Texts, you must enclose
3364 the copies in covers that carry, clearly and legibly, all these Cover
3365 Texts: Front-Cover Texts on the front cover, and Back-Cover Texts on
3366 the back cover.  Both covers must also clearly and legibly identify
3367 you as the publisher of these copies.  The front cover must present
3368 the full title with all words of the title equally prominent and
3369 visible.  You may add other material on the covers in addition.
3370 Copying with changes limited to the covers, as long as they preserve
3371 the title of the Document and satisfy these conditions, can be treated
3372 as verbatim copying in other respects.
3373
3374 If the required texts for either cover are too voluminous to fit
3375 legibly, you should put the first ones listed (as many as fit
3376 reasonably) on the actual cover, and continue the rest onto adjacent
3377 pages.
3378
3379 If you publish or distribute Opaque copies of the Document numbering
3380 more than 100, you must either include a machine-readable Transparent
3381 copy along with each Opaque copy, or state in or with each Opaque copy
3382 a publicly-accessible computer-network location containing a complete
3383 Transparent copy of the Document, free of added material, which the
3384 general network-using public has access to download anonymously at no
3385 charge using public-standard network protocols.  If you use the latter
3386 option, you must take reasonably prudent steps, when you begin
3387 distribution of Opaque copies in quantity, to ensure that this
3388 Transparent copy will remain thus accessible at the stated location
3389 until at least one year after the last time you distribute an Opaque
3390 copy (directly or through your agents or retailers) of that edition to
3391 the public.
3392
3393 It is requested, but not required, that you contact the authors of the
3394 Document well before redistributing any large number of copies, to give
3395 them a chance to provide you with an updated version of the Document.
3396 @sp 1
3397 @item
3398 MODIFICATIONS
3399
3400 You may copy and distribute a Modified Version of the Document under
3401 the conditions of sections 2 and 3 above, provided that you release
3402 the Modified Version under precisely this License, with the Modified
3403 Version filling the role of the Document, thus licensing distribution
3404 and modification of the Modified Version to whoever possesses a copy
3405 of it.  In addition, you must do these things in the Modified Version:
3406
3407 A. Use in the Title Page (and on the covers, if any) a title distinct
3408    from that of the Document, and from those of previous versions
3409    (which should, if there were any, be listed in the History section
3410    of the Document).  You may use the same title as a previous version
3411    if the original publisher of that version gives permission.@*
3412 B. List on the Title Page, as authors, one or more persons or entities
3413    responsible for authorship of the modifications in the Modified
3414    Version, together with at least five of the principal authors of the
3415    Document (all of its principal authors, if it has less than five).@*
3416 C. State on the Title page the name of the publisher of the
3417    Modified Version, as the publisher.@*
3418 D. Preserve all the copyright notices of the Document.@*
3419 E. Add an appropriate copyright notice for your modifications
3420    adjacent to the other copyright notices.@*
3421 F. Include, immediately after the copyright notices, a license notice
3422    giving the public permission to use the Modified Version under the
3423    terms of this License, in the form shown in the Addendum below.@*
3424 G. Preserve in that license notice the full lists of Invariant Sections
3425    and required Cover Texts given in the Document's license notice.@*
3426 H. Include an unaltered copy of this License.@*
3427 I. Preserve the section entitled ``History'', and its title, and add to
3428    it an item stating at least the title, year, new authors, and
3429    publisher of the Modified Version as given on the Title Page.  If
3430    there is no section entitled ``History'' in the Document, create one
3431    stating the title, year, authors, and publisher of the Document as
3432    given on its Title Page, then add an item describing the Modified
3433    Version as stated in the previous sentence.@*
3434 J. Preserve the network location, if any, given in the Document for
3435    public access to a Transparent copy of the Document, and likewise
3436    the network locations given in the Document for previous versions
3437    it was based on.  These may be placed in the ``History'' section.
3438    You may omit a network location for a work that was published at
3439    least four years before the Document itself, or if the original
3440    publisher of the version it refers to gives permission.@*
3441 K. In any section entitled ``Acknowledgements'' or ``Dedications'',
3442    preserve the section's title, and preserve in the section all the
3443    substance and tone of each of the contributor acknowledgements
3444    and/or dedications given therein.@*
3445 L. Preserve all the Invariant Sections of the Document,
3446    unaltered in their text and in their titles.  Section numbers
3447    or the equivalent are not considered part of the section titles.@*
3448 M. Delete any section entitled ``Endorsements''.  Such a section
3449    may not be included in the Modified Version.@*
3450 N. Do not retitle any existing section as ``Endorsements''
3451    or to conflict in title with any Invariant Section.@*
3452 @sp 1
3453 If the Modified Version includes new front-matter sections or
3454 appendices that qualify as Secondary Sections and contain no material
3455 copied from the Document, you may at your option designate some or all
3456 of these sections as invariant.  To do this, add their titles to the
3457 list of Invariant Sections in the Modified Version's license notice.
3458 These titles must be distinct from any other section titles.
3459
3460 You may add a section entitled ``Endorsements'', provided it contains
3461 nothing but endorsements of your Modified Version by various
3462 parties--for example, statements of peer review or that the text has
3463 been approved by an organization as the authoritative definition of a
3464 standard.
3465
3466 You may add a passage of up to five words as a Front-Cover Text, and a
3467 passage of up to 25 words as a Back-Cover Text, to the end of the list
3468 of Cover Texts in the Modified Version.  Only one passage of
3469 Front-Cover Text and one of Back-Cover Text may be added by (or
3470 through arrangements made by) any one entity.  If the Document already
3471 includes a cover text for the same cover, previously added by you or
3472 by arrangement made by the same entity you are acting on behalf of,
3473 you may not add another; but you may replace the old one, on explicit
3474 permission from the previous publisher that added the old one.
3475
3476 The author(s) and publisher(s) of the Document do not by this License
3477 give permission to use their names for publicity for or to assert or
3478 imply endorsement of any Modified Version.
3479 @sp 1
3480 @item
3481 COMBINING DOCUMENTS
3482
3483 You may combine the Document with other documents released under this
3484 License, under the terms defined in section 4 above for modified
3485 versions, provided that you include in the combination all of the
3486 Invariant Sections of all of the original documents, unmodified, and
3487 list them all as Invariant Sections of your combined work in its
3488 license notice.
3489
3490 The combined work need only contain one copy of this License, and
3491 multiple identical Invariant Sections may be replaced with a single
3492 copy.  If there are multiple Invariant Sections with the same name but
3493 different contents, make the title of each such section unique by
3494 adding at the end of it, in parentheses, the name of the original
3495 author or publisher of that section if known, or else a unique number.
3496 Make the same adjustment to the section titles in the list of
3497 Invariant Sections in the license notice of the combined work.
3498
3499 In the combination, you must combine any sections entitled ``History''
3500 in the various original documents, forming one section entitled
3501 ``History''; likewise combine any sections entitled ``Acknowledgements'',
3502 and any sections entitled ``Dedications''.  You must delete all sections
3503 entitled ``Endorsements.''
3504 @sp 1
3505 @item
3506 COLLECTIONS OF DOCUMENTS
3507
3508 You may make a collection consisting of the Document and other documents
3509 released under this License, and replace the individual copies of this
3510 License in the various documents with a single copy that is included in
3511 the collection, provided that you follow the rules of this License for
3512 verbatim copying of each of the documents in all other respects.
3513
3514 You may extract a single document from such a collection, and distribute
3515 it individually under this License, provided you insert a copy of this
3516 License into the extracted document, and follow this License in all
3517 other respects regarding verbatim copying of that document.
3518 @sp 1
3519 @item
3520 AGGREGATION WITH INDEPENDENT WORKS
3521
3522 A compilation of the Document or its derivatives with other separate
3523 and independent documents or works, in or on a volume of a storage or
3524 distribution medium, does not as a whole count as a Modified Version
3525 of the Document, provided no compilation copyright is claimed for the
3526 compilation.  Such a compilation is called an ``aggregate'', and this
3527 License does not apply to the other self-contained works thus compiled
3528 with the Document, on account of their being thus compiled, if they
3529 are not themselves derivative works of the Document.
3530
3531 If the Cover Text requirement of section 3 is applicable to these
3532 copies of the Document, then if the Document is less than one quarter
3533 of the entire aggregate, the Document's Cover Texts may be placed on
3534 covers that surround only the Document within the aggregate.
3535 Otherwise they must appear on covers around the whole aggregate.
3536 @sp 1
3537 @item
3538 TRANSLATION
3539
3540 Translation is considered a kind of modification, so you may
3541 distribute translations of the Document under the terms of section 4.
3542 Replacing Invariant Sections with translations requires special
3543 permission from their copyright holders, but you may include
3544 translations of some or all Invariant Sections in addition to the
3545 original versions of these Invariant Sections.  You may include a
3546 translation of this License provided that you also include the
3547 original English version of this License.  In case of a disagreement
3548 between the translation and the original English version of this
3549 License, the original English version will prevail.
3550 @sp 1
3551 @item
3552 TERMINATION
3553
3554 You may not copy, modify, sublicense, or distribute the Document except
3555 as expressly provided for under this License.  Any other attempt to
3556 copy, modify, sublicense or distribute the Document is void, and will
3557 automatically terminate your rights under this License.  However,
3558 parties who have received copies, or rights, from you under this
3559 License will not have their licenses terminated so long as such
3560 parties remain in full compliance.
3561 @sp 1
3562 @item
3563 FUTURE REVISIONS OF THIS LICENSE
3564
3565 The Free Software Foundation may publish new, revised versions
3566 of the GNU Free Documentation License from time to time.  Such new
3567 versions will be similar in spirit to the present version, but may
3568 differ in detail to address new problems or concerns.  See
3569 http://www.gnu.org/copyleft/.
3570
3571 Each version of the License is given a distinguishing version number.
3572 If the Document specifies that a particular numbered version of this
3573 License ``or any later version'' applies to it, you have the option of
3574 following the terms and conditions either of that specified version or
3575 of any later version that has been published (not as a draft) by the
3576 Free Software Foundation.  If the Document does not specify a version
3577 number of this License, you may choose any version ever published (not
3578 as a draft) by the Free Software Foundation.
3579
3580 @end enumerate
3581
3582 @unnumberedsec ADDENDUM: How to use this License for your documents
3583
3584 To use this License in a document you have written, include a copy of
3585 the License in the document and put the following copyright and
3586 license notices just after the title page:
3587
3588 @smallexample
3589 @group
3590
3591   Copyright (C)  @var{year}  @var{your name}.
3592   Permission is granted to copy, distribute and/or modify this document
3593   under the terms of the GNU Free Documentation License, Version 1.1
3594   or any later version published by the Free Software Foundation;
3595   with the Invariant Sections being @var{list their titles}, with the
3596   Front-Cover Texts being @var{list}, and with the Back-Cover Texts being @var{list}.
3597   A copy of the license is included in the section entitled ``GNU
3598   Free Documentation License''.
3599 @end group
3600 @end smallexample
3601 If you have no Invariant Sections, write ``with no Invariant Sections''
3602 instead of saying which ones are invariant.  If you have no
3603 Front-Cover Texts, write ``no Front-Cover Texts'' instead of
3604 ``Front-Cover Texts being @var{list}''; likewise for Back-Cover Texts.
3605
3606 If your document contains nontrivial examples of program code, we
3607 recommend releasing these examples in parallel under your choice of
3608 free software license, such as the GNU General Public License,
3609 to permit their use in free software.
3610
3611
3612 @node Concept Index,  , Copying, Top
3613 @unnumbered Concept Index
3614 @printindex cp
3615
3616 @contents
3617
3618 @bye