]> sjero.net Git - wget/blobdiff - src/recur.c
[svn] * *.{gmo,po,pot}: Regenerated after modifying wget --help output.
[wget] / src / recur.c
index 078f7d855ee3f3d2308b2d2dee159117a91c0277..dc58c6458ee46198dfa0fe4f583e85164f535550 100644 (file)
@@ -106,7 +106,7 @@ recursive_reset (void)
 }
 
 /* The core of recursive retrieving.  Endless recursion is avoided by
-   having all URL-s stored to a linked list of URL-s, which is checked
+   having all URLs stored to a linked list of URLs, which is checked
    before loading any URL.  That way no URL can get loaded twice.
 
    The function also supports specification of maximum recursion depth
@@ -116,7 +116,7 @@ recursive_retrieve (const char *file, const char *this_url)
 {
   char *constr, *filename, *newloc;
   char *canon_this_url = NULL;
-  int dt, inl;
+  int dt, inl, dash_p_leaf_HTML = FALSE;
   int this_url_ftp;            /* See below the explanation */
   uerr_t err;
   struct urlinfo *rurl;
@@ -163,13 +163,24 @@ recursive_retrieve (const char *file, const char *this_url)
   else
     ++depth;
 
-  /* Bail out if opt.reclevel is exceeded.  */
-  if ((opt.reclevel != 0) && (depth > opt.reclevel))
+  if (opt.reclevel != INFINITE_RECURSION && depth > opt.reclevel)
+    /* We've exceeded the maximum recursion depth specified by the user. */
     {
-      DEBUGP (("Recursion depth %d exceeded max. depth %d.\n",
-              depth, opt.reclevel));
-      --depth;
-      return RECLEVELEXC;
+      if (opt.page_requisites && depth <= opt.reclevel + 1)
+       /* When -p is specified, we can do one more partial recursion from the
+          "leaf nodes" on the HTML document tree.  The recursion is partial in
+          that we won't traverse any <A> or <AREA> tags, nor any <LINK> tags
+          except for <LINK REL="stylesheet">. */
+       dash_p_leaf_HTML = TRUE;
+      else
+       /* Either -p wasn't specified or it was and we've already gone the one
+          extra (pseudo-)level that it affords us, so we need to bail out. */
+       {
+         DEBUGP (("Recursion depth %d exceeded max. depth %d.\n",
+                  depth, opt.reclevel));
+         --depth;
+         return RECLEVELEXC;
+       }
     }
 
   /* Determine whether this_url is an FTP URL.  If it is, it means
@@ -179,8 +190,8 @@ recursive_retrieve (const char *file, const char *this_url)
   this_url_ftp = (urlproto (this_url) == URLFTP);
 
   /* Get the URL-s from an HTML file: */
-  url_list = get_urls_html (file,
-                           canon_this_url ? canon_this_url : this_url, 0);
+  url_list = get_urls_html (file, canon_this_url ? canon_this_url : this_url,
+                           0, dash_p_leaf_HTML);
 
   /* Decide what to do with each of the URLs.  A URL will be loaded if
      it meets several requirements, discussed later.  */
@@ -312,7 +323,8 @@ recursive_retrieve (const char *file, const char *this_url)
              (!*u->file
               || (((suf = suffix (constr)) != NULL)
                   && ((!strcmp (suf, "html") || !strcmp (suf, "htm"))
-                      && ((opt.reclevel != 0) && (depth != opt.reclevel))))))
+                      && ((opt.reclevel != INFINITE_RECURSION) &&
+                         (depth != opt.reclevel))))))
            {
              if (!acceptable (u->file))
                {
@@ -335,7 +347,7 @@ recursive_retrieve (const char *file, const char *this_url)
              char *p;
              /* Just lowercase the hostname.  */
              for (p = u->host; *p; p++)
-               *p = tolower (*p);
+               *p = TOLOWER (*p);
              free (u->url);
              u->url = str_url (u, 0);
            }
@@ -504,7 +516,7 @@ recursive_retrieve (const char *file, const char *this_url)
 
    This is why Wget must, after the whole retrieval, call
    convert_all_links to go once more through the entire list of
-   retrieved HTML-s, and re-convert them.
+   retrieved HTMLs, and re-convert them.
 
    All the downloaded HTMLs are kept in urls_html, and downloaded URLs
    in urls_downloaded.  From these two lists information is
@@ -531,7 +543,8 @@ convert_all_links (void)
       else
        DEBUGP (("I cannot find the corresponding URL.\n"));
       /* Parse the HTML file...  */
-      urls = get_urls_html (html->string, urlhtml ? urlhtml->url : NULL, 1);
+      urls = get_urls_html (html->string, urlhtml ? urlhtml->url : NULL, 1,
+                           FALSE);
       if (!urls)
        continue;
       for (l1 = urls; l1; l1 = l1->next)
@@ -655,9 +668,9 @@ parse_robots (const char *robots_filename)
        sprintf (version, "Wget/%s", version_string);
       }
   for (p = version; *p; p++)
-    *p = tolower (*p);
+    *p = TOLOWER (*p);
   for (p = base_version; *p && *p != '/'; p++)
-    *p = tolower (*p);
+    *p = TOLOWER (*p);
   *p = '\0';
 
   /* Setting this to 1 means that Wget considers itself under
@@ -729,7 +742,7 @@ parse_robots (const char *robots_filename)
          int match = 0;
          /* Lowercase the agent string.  */
          for (p = str; *p; p++)
-           *p = tolower (*p);
+           *p = TOLOWER (*p);
          /* If the string is `*', it matches.  */
          if (*str == '*' && !*(str + 1))
            match = 1;