Содержимое защищенных файлов безопасности не читается с помощью wget

Question

Я пытаюсь загрузить некоторые URL-адреса с помощью wget. Я получаю файлы без проблем, кроме этой ссылки Offensive-Security-ICQ и любой другой ссылки на www.offensive-security.com.

Я пробовал как в Linux, так и в Windows со многими испытаниями и большим количеством поиска, но напрасно.

Я использую эту команду «Wget https://www.offensive-security.com/pwbonline/icq.html»

Приведенное файл показывает эти символы, и это ANSI декодируется

Как я могу решить эту проблему ??

Answer 1

По какой-то причине сервер не возвращает html-страницу, кроме ее zipped-версии. Файл, который вы получаете идентифицируется как GZIP сжатых данных:

$ file icq.html 
icq.html: gzip compressed data, from Unix 

Таким образом, вы можете просто распаковать его, и вы получите правильный HTML-страницу.

Почему сервер делает это: не уверен, но это, вероятно, какой-то параметр по умолчанию, который остался как есть, поэтому вы можете скачать быстрее.

Как можно напрямую загрузить содержимое html: возможно, отправив некоторый общий пользовательский агент и заголовок, чтобы сервер думал, что его общий веб-браузер выполняет запрос вместо инструмента загрузки.

Это может быть сделано с помощью wget несколько вариантов, например, это должно работать:

wget --header="Accept: text/html" --user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:21.0) Gecko/20100101 Firefox/21.0" https://www.offensive-security.com/pwbonline/icq.html