]> sjero.net Git - wget/blobdiff - src/main.c
[svn] Logging system bugfixes and improvements.
[wget] / src / main.c
index 54d3f3184a62a652ddaa861ddf54ce786d6b88e8..aef78bf5d6851ddb23a3218d8c69b581f0ffc881 100644 (file)
@@ -53,6 +53,10 @@ Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.  */
 #include "url.h"
 #include "progress.h"          /* for progress_handle_sigwinch */
 
+#ifdef HAVE_SSL
+# include "gen_sslfunc.h"
+#endif
+
 /* On GNU system this will include system-wide getopt.h. */
 #include "getopt.h"
 
@@ -71,7 +75,7 @@ struct options opt;
 /* From log.c.  */
 void log_init PARAMS ((const char *, int));
 void log_close PARAMS ((void));
-void redirect_output PARAMS ((const char *));
+void log_request_redirect_output PARAMS ((const char *));
 
 static RETSIGTYPE redirect_output_signal PARAMS ((int));
 
@@ -104,18 +108,6 @@ i18n_initialize (void)
   textdomain ("wget");
 #endif /* HAVE_NLS */
 }
-
-/* It's kosher to declare these here because their interface _has_ to
-   be void foo(void).  */
-void host_init PARAMS ((void));
-
-/* This just calls the various initialization functions from the
-   modules that need one-time initialization. */
-static void
-private_initialize (void)
-{
-  host_init ();
-}
 \f
 /* Print the usage message.  */
 static void
@@ -158,6 +150,7 @@ Logging and input file:\n\
   -B,  --base=URL             prepends URL to relative links in -F -i file.\n\
        --sslcertfile=FILE     optional client certificate.\n\
        --sslcertkey=KEYFILE   optional keyfile for this certificate.\n\
+       --egd-file=FILE        file name of the EGD socket.\n\
 \n"), stdout);
   fputs (_("\
 Download:\n\
@@ -173,8 +166,10 @@ Download:\n\
   -T,  --timeout=SECONDS        set the read timeout to SECONDS.\n\
   -w,  --wait=SECONDS           wait SECONDS between retrievals.\n\
        --waitretry=SECONDS      wait 1...SECONDS between retries of a retrieval.\n\
+       --random-wait            wait from 0...2*WAIT secs between retrievals.\n\
   -Y,  --proxy=on/off           turn proxy on or off.\n\
   -Q,  --quota=NUMBER           set retrieval quota to NUMBER.\n\
+       --limit-rate=RATE        limit download rate to RATE.\n\
 \n"), stdout);
   fputs (_("\
 Directories:\n\
@@ -232,7 +227,6 @@ Recursive accept/reject:\n\
   -L,  --relative                   follow relative links only.\n\
   -I,  --include-directories=LIST   list of allowed directories.\n\
   -X,  --exclude-directories=LIST   list of excluded directories.\n\
-  -nh, --no-host-lookup             don\'t DNS-lookup hosts.\n\
   -np, --no-parent                  don\'t ascend to the parent directory.\n\
 \n"), stdout);
   fputs (_("Mail bug reports and suggestions to <bug-wget@gnu.org>.\n"),
@@ -273,6 +267,7 @@ main (int argc, char *const *argv)
     { "passive-ftp", no_argument, NULL, 139 },
     { "page-requisites", no_argument, NULL, 'p' },
     { "quiet", no_argument, NULL, 'q' },
+    { "random-wait", no_argument, NULL, 165 },
     { "recursive", no_argument, NULL, 'r' },
     { "relative", no_argument, NULL, 'L' },
     { "retr-symlinks", no_argument, NULL, 137 },
@@ -309,6 +304,7 @@ main (int argc, char *const *argv)
     { "include-directories", required_argument, NULL, 'I' },
     { "input-file", required_argument, NULL, 'i' },
     { "level", required_argument, NULL, 'l' },
+    { "limit-rate", required_argument, NULL, 164 },
     { "load-cookies", required_argument, NULL, 161 },
     { "no", required_argument, NULL, 'n' },
     { "output-document", required_argument, NULL, 'O' },
@@ -328,6 +324,7 @@ main (int argc, char *const *argv)
 #ifdef HAVE_SSL
     { "sslcertfile", required_argument, NULL, 158 },
     { "sslcertkey", required_argument, NULL, 159 },
+    { "egd-file", required_argument, NULL, 166 },
 #endif /* HAVE_SSL */
     { "wait", required_argument, NULL, 'w' },
     { "waitretry", required_argument, NULL, 152 },
@@ -335,7 +332,6 @@ main (int argc, char *const *argv)
   };
 
   i18n_initialize ();
-  private_initialize ();
 
   append_to_log = 0;
 
@@ -402,15 +398,15 @@ hpVqvdkKsxmNWrHSLcFbEY:G:g:T:U:O:l:n:i:o:a:t:D:A:R:P:B:e:Q:X:I:w:C:",
        case 149:
          setval ("removelisting", "off");
          break;
-       case 150:
-         setval ("simplehostcheck", "on");
-         break;
        case 155:
          setval ("bindaddress", optarg);
          break;
        case 156:
          setval ("httpkeepalive", "off");
          break;
+       case 165:
+         setval ("randomwait", "on");
+         break;
        case 'b':
          setval ("background", "on");
          break;
@@ -501,13 +497,7 @@ GNU General Public License for more details.\n"));
          setval ("header", optarg);
          break;
        case 134:
-         /* Supported for compatibility; --dot-style=foo equivalent
-            to --progress=dot:foo.  */
-         {
-           char *tmp = alloca (3 + 1 + strlen (optarg));
-           sprintf (tmp, "dot:%s", optarg);
-           setval ("progress", tmp);
-         }
+         setval ("dotstyle", optarg);
          break;
        case 135:
          setval ("htmlify", optarg);
@@ -542,6 +532,9 @@ GNU General Public License for more details.\n"));
        case 163:
          setval ("progress", optarg);
          break;
+       case 164:
+         setval ("limitrate", optarg);
+         break;
        case 157:
          setval ("referer", optarg);
          break;
@@ -552,6 +545,9 @@ GNU General Public License for more details.\n"));
        case 159:
          setval ("sslcertkey", optarg);
          break;
+       case 166:
+         setval ("egdfile", optarg);
+         break;
 #endif /* HAVE_SSL */
        case 'A':
          setval ("accept", optarg);
@@ -604,7 +600,7 @@ GNU General Public License for more details.\n"));
          break;
        case 'n':
          {
-           /* #### The n? options are utter crock!  */
+           /* #### What we really want here is --no-foo. */
            char *p;
 
            for (p = optarg; *p; p++)
@@ -613,9 +609,6 @@ GNU General Public License for more details.\n"));
                case 'v':
                  setval ("verbose", "off");
                  break;
-               case 'h':
-                 setval ("simplehostcheck", "on");
-                 break;
                case 'H':
                  setval ("addhostdir", "off");
                  break;
@@ -686,11 +679,6 @@ GNU General Public License for more details.\n"));
        }
     }
 
-  /* Initialize progress.  Have to do this after the options are
-     processed so we know where the log file is.  */
-  if (opt.verbose)
-    set_progress_implementation (opt.progress_type);
-
   /* All user options have now been processed, so it's now safe to do
      interoption dependency checks. */
 
@@ -738,6 +726,11 @@ Can't timestamp and not clobber old files at the same time.\n"));
   if (opt.background)
     fork_to_background ();
 
+  /* Initialize progress.  Have to do this after the options are
+     processed so we know where the log file is.  */
+  if (opt.verbose)
+    set_progress_implementation (opt.progress_type);
+
   /* Allocate basic pointer.  */
   url = ALLOCA_ARRAY (char *, nurl + 1);
   /* Fill in the arguments.  */
@@ -745,10 +738,7 @@ Can't timestamp and not clobber old files at the same time.\n"));
     {
       char *rewritten = rewrite_shorthand_url (argv[optind]);
       if (rewritten)
-       {
-         printf ("Converted %s to %s\n", argv[optind], rewritten);
-         url[i] = rewritten;
-       }
+       url[i] = rewritten;
       else
        url[i] = xstrdup (argv[optind]);
     }
@@ -805,18 +795,23 @@ Can't timestamp and not clobber old files at the same time.\n"));
 #endif
 #endif /* HAVE_SIGNAL */
 
+#ifdef HAVE_SSL
+  /* Must call this before resolving any URLs because it has the power
+     to disable `https'.  */
+  ssl_init_prng ();
+#endif
+
   status = RETROK;             /* initialize it, just-in-case */
-  recursive_reset ();
   /* Retrieve the URLs from argument list.  */
   for (t = url; *t; t++)
     {
-      char *filename, *redirected_URL;
+      char *filename = NULL, *redirected_URL = NULL;
       int dt;
 
-      status = retrieve_url (*t, &filename, &redirected_URL, NULL, &dt);
-      if (opt.recursive && status == RETROK && (dt & TEXTHTML))
-       status = recursive_retrieve (filename,
-                                    redirected_URL ? redirected_URL : *t);
+      if (opt.recursive && url_scheme (*t) != SCHEME_FTP)
+       status = retrieve_tree (*t);
+      else
+       status = retrieve_url (*t, &filename, &redirected_URL, NULL, &dt);
 
       if (opt.delete_after && file_exists_p(filename))
        {
@@ -882,19 +877,20 @@ Can't timestamp and not clobber old files at the same time.\n"));
 #ifdef HAVE_SIGNAL
 /* Hangup signal handler.  When wget receives SIGHUP or SIGUSR1, it
    will proceed operation as usual, trying to write into a log file.
-   If that is impossible, the output will be turned off.  */
+   If that is impossible, the output will be turned off.
+
+   #### It is unsafe to do call libc functions from a signal handler.
+   What we should do is, set a global variable, and have the code in
+   log.c pick it up.  */
 
 static RETSIGTYPE
 redirect_output_signal (int sig)
 {
-  char tmp[100];
+  char *signal_name = (sig == SIGHUP ? "SIGHUP" :
+                      (sig == SIGUSR1 ? "SIGUSR1" :
+                       "WTF?!"));
+  log_request_redirect_output (signal_name);
+  progress_schedule_redirect ();
   signal (sig, redirect_output_signal);
-  /* Please note that the double `%' in `%%s' is intentional, because
-     redirect_output passes tmp through printf.  */
-  sprintf (tmp, _("%s received, redirecting output to `%%s'.\n"),
-          (sig == SIGHUP ? "SIGHUP" :
-           (sig == SIGUSR1 ? "SIGUSR1" :
-            "WTF?!")));
-  redirect_output (tmp);
 }
 #endif /* HAVE_SIGNAL */