nutch

1зной

1ответ

Как использовать Elasticsearch 5.x с Nutch/Как индексировать веб-страницы HTML в Elasticsearch 5?

Я использую Apache Nutch для индексирования веб-страниц в Elasticsearch. Когда я попытался обновить, как this, я получаю ошибку в ElasticSearchWriter.java. Неужели кто-нибудь это сделал? Поддерживает

0зной

1ответ

Nutch Crawl не работает

Я хочу сканировать сайт с помощью Apache Nutch 1.12 и индексировать данные в Apache Solr. Я следил за этим tutorial. Моего seed.txt файл имеет этот адрес http://nutch.apache.org/ В моем регулярном выр

0зной

1ответ

как извлечь конкретные данные с помощью скрипта свиньи из данных сканирования в сети (нут)

Этот пример данных обхода используется с помощью nutch 2.3.1, где мне нужно взять заголовки и ссылки на внутренние ссылки и внешние ссылки, прикрепленные с веб-сайтом, любое предложение наиболее приве

1зной

1ответ

Как включить подсчет очков в nutch 2.x на основе inlinks и outlinks?

Nutch 1.x обладает этой способностью, однако я не могу найти ее в nutch 2.x. Есть ли какой-либо вариант в nutch, который может включить его, или я должен сделать это на моем конце?

0зной

1ответ

Работа с MongoDB с использованием конфигурации Apache Gora 0.6

Я использую MongoDB в качестве Gora-бэкэнда для моей реализации nutch. Мне нужно удалить некоторые документы из MongoDB. Вместо написания пользовательского класса, основанного на Java и MongoDB, я пыт

0зной

1ответ

Nutch 1.12 и elasticsearch 1.4.1 потребность в производительности

Я новичок в использовании Nutch, и я хочу проползать весь список семян, который у меня есть. Во-первых: Я использовал сценарий: бен/ползать -i -D elastic.server.url = http://localhost:9200/index_name/

0зной

1ответ

Как сбрасывать данные Nutch 2.3 в файл WARC?

Мне нужно сбросить данные с Nutch 2.3 в файл WARC. Однако я не смог найти необходимый модуль. У Nutch 1.x была эта возможность. Я хотел бы знать правильный способ сделать это.