Aesthetic changes and bug fixes for progress bar

Add --show-progress to force  display progress bar

This is a relatively large commit that implements two major features:

1. Implement --show-progress switch to force the display of the progress bar in
   any verbosity level
2. Edit the implementation of the progress bar so that the filename is displayed
   in the same line.

progress: Split update into update and draw

fixed 204 response handling, added new Test-204.px

tests: add missing files to Makefile.am

Fix compiler warnings

url: remove shorten_string

The function wasn't used and caused a compiler warning:

url.c:1288:1: warning: 'shorten_length' defined but not used [-Wunused-function]

NEWS: cite --start-pos

Tests: Add constraint on https for --https-only test.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

Tests: Add test cases for option --start-pos.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

Tests: exclude existing files from the check of unexpected downloads.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

Tests: fix TYPE and RETR command handling.

 - FTPServer.pm's handling of TYPE command would ignore binary mode
   transfer request.
 - The FTP server would run into dead loop sending the same content
   forever.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

Make wget capable of starting downloads from a specified position.

This patch adds an option `--start-pos' for specifying starting position
of a HTTP or FTP download.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

http: aesthetic change

URL-decode the filename parameter of Content-Disposition HTTP header if it is encoded

gnulib: pull submodule forward

wget: move --version copyright year out of the localized string

configure.ac: update copyright years

Turn --debug into no-op if compiled without debugging support

Don't use --debug in Test--post-file.px

Test--post-file.px fails when wget is compiled without debugging support.

Signed-off-by: Lars Wendler <polynomial-c@gentoo.org>

Introduce --no-config. The wgetrc files will not be read

In case of a conflict between --config and --no-config, the one
that appears first will be considered and the other ignored.

NEWS: placeholder for the new release

Prepare release 1.15

Fix checking the URL length when filename is specified

Remove some useless if statements

doc: use GFDL 1.3

fix GnuTLS connect timeout

sample.wgetrc: add links to the manual

gnulib: add as a git submodule

Add tests to EXTRA_DIST variable for distribution packaging

NEWS: update with last changes.

http: Increase max header value length to 512

http: specify Host when CONNECT is used.

Remove assert which is always true

"LIST" or "LIST -a" ftp command according to the remote system

Fix FTP list parsing & Fix cookies reject

Fix FTP list parsing

better backport availability for PFS feature

tests: do not use -H on IDN tests

iri: Fix parsing of some URLs contained in HTML documents

improved Test-idn-robots.px

add/explain quoting of wildcard patterns in wget.texi

fix bug #39844

fix --without-ssl compile error

PFS runtime check

NEWS: cite Perfect-Forward Secrecy

added PFS to --secure-protocol

add httpsonly to sample wgetrc

NEWS: cite --https-only.

added option --https-only

Fix misspelling.

gnutls: Prevent CA files from being loaded twice if possible

wget: Fix --version wrapping issue

openssl: fix build.

Fix erroneous error codes when HTTP Digest Authentication fails.

ntlm: support libnettle.

Fix some memory leaks a problem introduced with the last commit

warc: Fix some portability issues on VMS.

Make --backups work as documented

doc: document --backups

vms: support --backups

Fix HTTP Digest authentication when the algorithm is not specified

Fix timeout option when used with SSL

Previously wget didn't honor the --timeout option if the remote host did
not answer SSL handshake

Signed-off-by: Tomas Hozza <thozza@redhat.com>

gnutls: honor connect timeout

Document missing options and fix --preserve-permissions

Added documentation for --regex-type and --preserve-permissions
options.

Fixed --preserve-permissions to work properly also if downloading a
single file from FTP.

Signed-off-by: Tomas Hozza <thozza@redhat.com>

Set sock variable to -1 if no persistent conn exists

Wget should set sock variable to -1 if no persistent
connection exists. Function persistent_available_p()
tests persistent connection but if test_socket_open()
fails it closes the socket but will not set sock variable
to -1. After returning from persistent_available_p()
it is possible that sock has still value of already
closed connection.

Signed-off-by: Tomas Hozza <thozza@redhat.com>

Fix using deadcode and possible use of NULL pointer

Fix for deadcode in unique_create() so that "opened_name" parameter is
always initialized to a valid string or NULL when returning from
function.

Fix for redirect_output() so that "logfile" is not blindly used in
fprintf() call and checked if it is not NULL.

Signed-off-by: Tomas Hozza <thozza@redhat.com>

Download response body data for all requests

Add HTML5 media tags to list of known tags and attributes

Cleanup cmd_string_uppercase

fix segfault in ftp.c (ftp_loop_internal)

Fix error in texi2pod intriduced with Perl 5.18

MinGW compatibility fixes

Follow RFC 2616 and httpbis specifications when handling redirects

Removing "Could not open temporary WARC manifest file." issue in Win builds

replaced read_whole_file() by getline()

src/utils.c cleanup

Fix typo in documentation.

Non-functionality improvement in src/http.c.

Pulled `request_set_method` functionality into `request_new`
to ensure these functions always called in right order.

NEWS: cite last change

gnutls: do not abort on non-fatal alerts during handshake

Signed-off-by: mancha <mancha1@hush.com>

Fix issue when converting string to uppercase

Keep the same method on a 307 redirect

Fix crash when receiving a HTTP redirect upon a POST request

The crash was introduced by a recent commit.

doc: add documentation for --accept-regex and --reject-regex

Improve output in case of --post-{file,body} commands.

Remove old reference to opt.post_data.

doc: add documentation for mega dot style.

warc: Follow the guidelines for metadata records

Do not use the same UUID for the manifest and arguments records.
Write the manifest as a metadata record, not as a resource.

NEWS: cite --method.

Add a generic --method command to set a method in HTTP Requests.

Add supplementary --body-data and --body-file commands to send BODY Data.

Signed-off-by: Darshit Shah <darnir@gmail.com>

warc: correctly write the field length in the skip length field

Add test to ensure correct return code on --post-file failure

Signed-off-by: Darshit Shah <darnir@gmail.com>

Make wget abort if --post-file does not exist

Signed-off-by: Darshit Shah <darnir@gmail.com>

Fix behaviour to match RFC 6265 on encountering domain mismatch.

fix --secure-protocol=SSLv2/SSLv3

Do not honor --config only when used as first long argument

Fix a build error with new gnulib versions.

Bugfix: Avoid double free of iri->orig_url

When accessing a URL using IDN which directly redirects to another page,
wget would xfree_null(iri->orig_url); in src/retr.c:retrieve_url()
first, then later xfree_null(iri->orig_url); in src/iri.c:iri_free()
again.

This can be tested with wget -O /dev/null http://μφ.net

warc: remove a magic number