2017-02-08 23 views
1

Я привязываюсь, чтобы получить wget, чтобы загрузить весь контент с веб-сервера, и, похоже, все идет хорошо, но есть проблемы с сервером, который я в настоящее время загружаю на работу на дисковое пространство и поэтому останавливается.wget для добавления уже загруженных файлов и пропусков завершено

Я ищу способ получить wget для загрузки всего содержимого веб-сайта, и если он найдет файл, который он уже обработал, чтобы проверить, меньше ли он на веб-сервере, если он продолжит работу загрузите или, в худшем случае, повторно загрузите его. Если файл существует и тот же размер, то перейти на следующий один

настоящее время я использую

Wget -r --no-родительским -N http://www.website.com

+0

Вы, наверное, знаете, '--mirror' и не похоже, что этого было бы достаточно, чтобы выполнить требования 100%. Поэтому я не думаю, что только wget выполнит эту работу. Вам нужно будет написать какой-то скрипт. – cfromme

ответ

2

man wget Проверить для --continue (или -c). Страница man даже показывает эту опцию, используемую с рекурсивными загрузками.

От человека странице:

-c 
    --continue 
     Continue getting a partially-downloaded file. This is useful 
     when you want to finish up a download started by a previous 
     instance of Wget, or by another program. For instance: 

       wget -c ftp://sunsite.doc.ic.ac.uk/ls-lR.Z 

     If there is a file named ls-lR.Z in the current directory, 
     Wget will assume that it is the first portion of the remote 
     file, and will ask the server to continue the retrieval from 
     an offset equal to the length of the local file. 

и, показывая -r и -c используются вместе:

You may put several options that do not require arguments together, like: 

      wget -drc <URL> 

    This is completely equivalent to: 

      wget -d -r -c <URL> 

-Rich Олловей (RogueWave)

 Смежные вопросы

  • Нет связанных вопросов^_^