]> sjero.net Git - wget/blob - src/options.h
Add support for WARC files.
[wget] / src / options.h
1 /* struct options.
2    Copyright (C) 1996, 1997, 1998, 1999, 2000, 2001, 2002, 2003, 2004,
3    2005, 2006, 2007, 2008, 2009, 2010, 2011 Free Software Foundation,
4    Inc.
5
6 This file is part of GNU Wget.
7
8 GNU Wget is free software; you can redistribute it and/or modify
9 it under the terms of the GNU General Public License as published by
10 the Free Software Foundation; either version 3 of the License, or
11 (at your option) any later version.
12
13 GNU Wget is distributed in the hope that it will be useful,
14 but WITHOUT ANY WARRANTY; without even the implied warranty of
15 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
16 GNU General Public License for more details.
17
18 You should have received a copy of the GNU General Public License
19 along with Wget.  If not, see <http://www.gnu.org/licenses/>.
20
21 Additional permission under GNU GPL version 3 section 7
22
23 If you modify this program, or any covered work, by linking or
24 combining it with the OpenSSL project's OpenSSL library (or a
25 modified version of that library), containing parts covered by the
26 terms of the OpenSSL or SSLeay licenses, the Free Software Foundation
27 grants you additional permission to convey the resulting work.
28 Corresponding Source for a non-source form of such a combination
29 shall include the source code for the parts of OpenSSL used as well
30 as that of the covered work.  */
31
32 struct options
33 {
34   int verbose;                  /* Are we verbose?  (First set to -1,
35                                    hence not boolean.) */
36   bool quiet;                   /* Are we quiet? */
37   int ntry;                     /* Number of tries per URL */
38   bool retry_connrefused;       /* Treat CONNREFUSED as non-fatal. */
39   bool background;              /* Whether we should work in background. */
40   bool ignore_length;           /* Do we heed content-length at all?  */
41   bool recursive;               /* Are we recursive? */
42   bool spanhost;                /* Do we span across hosts in
43                                    recursion? */
44   int  max_redirect;            /* Maximum number of times we'll allow
45                                    a page to redirect. */
46   bool relative_only;           /* Follow only relative links. */
47   bool no_parent;               /* Restrict access to the parent
48                                    directory.  */
49   int reclevel;                 /* Maximum level of recursion */
50   bool dirstruct;               /* Do we build the directory structure
51                                   as we go along? */
52   bool no_dirstruct;            /* Do we hate dirstruct? */
53   int cut_dirs;                 /* Number of directory components to cut. */
54   bool add_hostdir;             /* Do we add hostname directory? */
55   bool protocol_directories;    /* Whether to prepend "http"/"ftp" to dirs. */
56   bool noclobber;               /* Disables clobbering of existing
57                                    data. */
58   bool unlink;                  /* remove file before clobbering */
59   char *dir_prefix;             /* The top of directory tree */
60   char *lfilename;              /* Log filename */
61   char *input_filename;         /* Input filename */
62   char *choose_config;          /* Specified config file */
63   bool force_html;              /* Is the input file an HTML file? */
64
65   char *default_page;           /* Alternative default page (index file) */
66
67   bool spider;                  /* Is Wget in spider mode? */
68
69   char **accepts;               /* List of patterns to accept. */
70   char **rejects;               /* List of patterns to reject. */
71   char **excludes;              /* List of excluded FTP directories. */
72   char **includes;              /* List of FTP directories to
73                                    follow. */
74   bool ignore_case;             /* Whether to ignore case when
75                                    matching dirs and files */
76
77   char **domains;               /* See host.c */
78   char **exclude_domains;
79   bool dns_cache;               /* whether we cache DNS lookups. */
80
81   char **follow_tags;           /* List of HTML tags to recursively follow. */
82   char **ignore_tags;           /* List of HTML tags to ignore if recursing. */
83
84   bool follow_ftp;              /* Are FTP URL-s followed in recursive
85                                    retrieving? */
86   bool retr_symlinks;           /* Whether we retrieve symlinks in
87                                    FTP. */
88   char *output_document;        /* The output file to which the
89                                    documents will be printed.  */
90   char *warc_filename;          /* WARC output filename */
91   char *warc_tempdir;   /* WARC temp dir */
92   char *warc_cdx_dedup_filename;        /* CDX file to be used for deduplication. */
93   wgint warc_maxsize;           /* WARC max archive size */
94   bool warc_compression_enabled;  /* For GZIP compression. */
95   bool warc_digests_enabled;  /* For SHA1 digests. */
96   bool warc_cdx_enabled;      /* Create CDX files? */
97   bool warc_keep_log;         /* Store the log file in a WARC record. */
98   char **warc_user_headers;             /* User-defined WARC header(s). */
99
100   char *user;                   /* Generic username */
101   char *passwd;                 /* Generic password */
102   bool ask_passwd;              /* Ask for password? */
103
104   bool always_rest;             /* Always use REST. */
105   char *ftp_user;               /* FTP username */
106   char *ftp_passwd;             /* FTP password */
107   bool netrc;                   /* Whether to read .netrc. */
108   bool ftp_glob;                /* FTP globbing */
109   bool ftp_pasv;                        /* Passive FTP. */
110
111   char *http_user;              /* HTTP username. */
112   char *http_passwd;            /* HTTP password. */
113   char **user_headers;          /* User-defined header(s). */
114   bool http_keep_alive;         /* whether we use keep-alive */
115
116   bool use_proxy;               /* Do we use proxy? */
117   bool allow_cache;             /* Do we allow server-side caching? */
118   char *http_proxy, *ftp_proxy, *https_proxy;
119   char **no_proxy;
120   char *base_href;
121   char *progress_type;          /* progress indicator type. */
122   char *proxy_user; /*oli*/
123   char *proxy_passwd;
124
125   double read_timeout;          /* The read/write timeout. */
126   double dns_timeout;           /* The DNS timeout. */
127   double connect_timeout;       /* The connect timeout. */
128
129   bool random_wait;             /* vary from 0 .. wait secs by random()? */
130   double wait;                  /* The wait period between retrievals. */
131   double waitretry;             /* The wait period between retries. - HEH */
132   bool use_robots;              /* Do we heed robots.txt? */
133
134   wgint limit_rate;             /* Limit the download rate to this
135                                    many bps. */
136   SUM_SIZE_INT quota;           /* Maximum file size to download and
137                                    store. */
138
139   bool server_response;         /* Do we print server response? */
140   bool save_headers;            /* Do we save headers together with
141                                    file? */
142   bool content_on_error;        /* Do we output the content when the HTTP
143                                    status code indicates a server error */
144
145 #ifdef ENABLE_DEBUG
146   bool debug;                   /* Debugging on/off */
147 #endif
148
149 #ifdef USE_WATT32
150   bool wdebug;                  /* Watt-32 tcp/ip debugging on/off */
151 #endif
152
153   bool timestamping;            /* Whether to use time-stamping. */
154
155   bool backup_converted;        /* Do we save pre-converted files as *.orig? */
156   bool backups;                 /* Are numeric backups made? */
157
158   char *useragent;              /* User-Agent string, which can be set
159                                    to something other than Wget. */
160   char *referer;                /* Naughty Referer, which can be
161                                    set to something other than
162                                    NULL. */
163   bool convert_links;           /* Will the links be converted
164                                    locally? */
165   bool remove_listing;          /* Do we remove .listing files
166                                    generated by FTP? */
167   bool htmlify;                 /* Do we HTML-ify the OS-dependent
168                                    listings? */
169
170   char *dot_style;
171   wgint dot_bytes;              /* How many bytes in a printing
172                                    dot. */
173   int dots_in_line;             /* How many dots in one line. */
174   int dot_spacing;              /* How many dots between spacings. */
175
176   bool delete_after;            /* Whether the files will be deleted
177                                    after download. */
178
179   bool adjust_extension;                /* Use ".html" extension on all text/html? */
180
181   bool page_requisites;         /* Whether we need to download all files
182                                    necessary to display a page properly. */
183   char *bind_address;           /* What local IP address to bind to. */
184
185 #ifdef HAVE_SSL
186   enum {
187     secure_protocol_auto,
188     secure_protocol_sslv2,
189     secure_protocol_sslv3,
190     secure_protocol_tlsv1
191   } secure_protocol;            /* type of secure protocol to use. */
192   bool check_cert;              /* whether to validate the server's cert */
193   char *cert_file;              /* external client certificate to use. */
194   char *private_key;            /* private key file (if not internal). */
195   enum keyfile_type {
196     keyfile_pem,
197     keyfile_asn1
198   } cert_type;                  /* type of client certificate file */
199   enum keyfile_type
200     private_key_type;           /* type of private key file */
201
202   char *ca_directory;           /* CA directory (hash files) */
203   char *ca_cert;                /* CA certificate file to use */
204
205
206   char *random_file;            /* file with random data to seed the PRNG */
207   char *egd_file;               /* file name of the egd daemon socket */
208 #endif /* HAVE_SSL */
209
210   bool cookies;                 /* whether cookies are used. */
211   char *cookies_input;          /* file we're loading the cookies from. */
212   char *cookies_output;         /* file we're saving the cookies to. */
213   bool keep_session_cookies;    /* whether session cookies should be
214                                    saved and loaded. */
215
216   char *post_data;              /* POST query string */
217   char *post_file_name;         /* File to post */
218
219   enum {
220     restrict_unix,
221     restrict_windows
222   } restrict_files_os;          /* file name restriction ruleset. */
223   bool restrict_files_ctrl;     /* non-zero if control chars in URLs
224                                    are restricted from appearing in
225                                    generated file names. */
226   bool restrict_files_nonascii; /* non-zero if bytes with values greater
227                                    than 127 are restricted. */
228   enum {
229     restrict_no_case_restriction,
230     restrict_lowercase,
231     restrict_uppercase
232   } restrict_files_case;        /* file name case restriction. */
233
234   bool strict_comments;         /* whether strict SGML comments are
235                                    enforced.  */
236
237   bool preserve_perm;           /* whether remote permissions are used
238                                   or that what is set by umask. */
239
240 #ifdef ENABLE_IPV6
241   bool ipv4_only;               /* IPv4 connections have been requested. */
242   bool ipv6_only;               /* IPv4 connections have been requested. */
243 #endif
244   enum {
245     prefer_ipv4,
246     prefer_ipv6,
247     prefer_none
248   } prefer_family;              /* preferred address family when more
249                                    than one type is available */
250
251   bool content_disposition;     /* Honor HTTP Content-Disposition header. */
252   bool auth_without_challenge;  /* Issue Basic authentication creds without
253                                    waiting for a challenge. */
254
255   bool enable_iri;
256   char *encoding_remote;
257   char *locale;
258
259   bool trustservernames;
260 #ifdef __VMS
261   int ftp_stmlf;                /* Force Stream_LF format for binary FTP. */
262 #endif /* def __VMS */
263
264   bool useservertimestamps;     /* Update downloaded files' timestamps to
265                                    match those on server? */
266
267   bool show_all_dns_entries; /* Show all the DNS entries when resolving a
268                                 name. */
269 };
270
271 extern struct options opt;