Как запустить nutch-сервер на распределенной среде

Question

Я проверил работу ореха в режиме сервера, запустив его с помощью команды bin/nutch startserver локально. Теперь я задаюсь вопросом, могу ли я начать nutch в режиме сервера поверх кластера hadoop (в распределенной среде) и отправлять запросы обхода на сервер с помощью nutch REST api? Пожалуйста, помогите.

Answer 1

Из дальнейших исследований у меня есть nutch-сервер, работающий в распределенном режиме.

шаги: -

1. Assume Hadoop настроен во всех подчиненных узлов. Затем настройте гайку во всех узлах. Это может помочь: http://wiki.apache.org/nutch/NutchHadoopTutorial
2. На вашем NameNode, cd $NUTCH_HOME/runtime/deploy
3. bin/nutch startserver -port <port> -host <host> Примечание: порт и хост не являются обязательными.
4. Затем вы можете отправлять запросы от nutch, используя REST. Запросы вы отправляете будут приняты Nutch сервер начал на шаге 3.

Счастливый ползать :)