warc

0зной

1ответ

Как читать подмножество записей из файла warc

Я пытаюсь проанализировать файлы .warc с Common Crawl в Python. Поскольку файлы огромны, я хочу начать с образца/подмножества первых нескольких записей. Как усечь файл, чтобы он включал только первые

1зной

1ответ

Как сжать записи warc с помощью lzma (* .warc.xz) в python3?

У меня есть список записей warc. Каждый элемент в списке создается следующим образом: header = warc.WARCHeader({ "WARC-Type": "response", "WARC-Target-URI": "www.somelink.com", }, defaults=

0зной

1ответ

Как архивировать и извлекать большой набор данных HTML?

Я свежее, и я собираюсь принять участие в конкурсе в эти выходные. Проблема заключается в архивировании и извлечении большого набора данных HTML, и я понятия не имею об этом. Мой друг предложил мне ис

1зной

1ответ

Python не может полностью прочитать файл «warc.gz»

Для моей работы я очищаю веб-сайты и записываю их в gzipped web-архивы (с расширением «warc.gz»). Я использую Python 2.7.11 и библиотеку warc 0.2.1. Я заметил, что для большинства файлов я не могу их

0зной

1ответ

Как сбрасывать данные Nutch 2.3 в файл WARC?

Мне нужно сбросить данные с Nutch 2.3 в файл WARC. Однако я не смог найти необходимый модуль. У Nutch 1.x была эта возможность. Я хотел бы знать правильный способ сделать это.

0зной

1ответ

Wget --warc-файл --recursive, отключающий запись отдельных файлов

Я бегу Wget создать warc архив следующим образом: $ wget --warc-file=/tmp/epfl --recursive --level=1 http://www.epfl.ch/ $ l -h /tmp/epfl.warc.gz -rw-r--r-- 1 david wheel 657K Sep 2 15:18 /tmp/epfl

2зной

2ответ

Дамп данных от Nutch ползать в несколько файлов warc

Я просканировал список сайтов, используя Nutch 1.12. Я могу сбросить обходы данных в отдельные HTML-файлы с помощью: ./bin/nutch dump -segment crawl/segments/ -o outputDir nameOfDir И в один файл ВА