nutch

1зной

1ответ

Near Dupliate Обнаружение документа с использованием TextProfileSignature fnv-text-profile-signature

У меня есть много документов, уже преобразованных в текст. Многие из этих документов собирают веб-страницы. Apache Tika используется для некоторых из них (если кто-то заботится). Мне нужна библиотека

solr duplicates nutch 2016-09-09

---

1зной

1ответ

nutch on Hadoop на google cloud-gloud dataproc

Я получаю ниже ошибки, когда пытаюсь запустить nutch on hadoop на Google Cloud (dataproc). любая идея, почему я бы встает вопрос [email protected]:~/apache-nutch-1.7/build$ hadoop jar /home/user/apach

hadoop nutch gcloud google-cloud-dataproc 2016-09-11

---

1зной

1ответ

Добавить файл свойств для пользовательского плагина в Nutch

Я новичок в Nutch. Я сделал обход, создал пользовательский плагин, основанный на разных учебниках. Для конкретной задачи для некоторых задач мой класс Java должен использовать файл свойств с именем sa

java ant properties web-scraping nutch 2016-09-13

---

2зной

2ответ

Ввести ссылки в Apache Nutch из mysql вместо seed.txt

Я новичок в Apache Nutch, и я хочу динамически вводить url из базы данных mysql. Предлагает ли Apache Nutch такую ​​возможность? Если нет, есть ли подобный эксперимент, из которого я могу научиться? И

web-crawler nutch 2016-09-16

---

2зной

1ответ

Внешние ссылки не сканируются

Я работаю над настраиваемым плагином разбора для nutch и сталкивался с проблемой. Я хочу, чтобы сканировать все URL-адреса в определенной области семенного URL-адреса. Но nutch игнорирует внешние ссыл

nutch 2016-09-20

---

3зной

2ответ

Метатаг не индексируется для некоторых сайтов

Я использую Nutch для сканирования некоторых веб-сайтов и индексации данных в Elastic Search с помощью пользовательского плагина (myplugin). Мне нужна информация, хранящаяся в метатегах с обходных сай

elasticsearch web-crawler nutch 2016-09-27

---

2зной

2ответ

Как извлечь значение specefic div в html с ползанием в apache nutch?

Я кишит Nutch 2.2 и данные, которые я извлечения является метатегов, как извлечь значение specefic DIV в HTML с ползет в апача Nutch

parsing solr nutch 2016-09-27

---

2зной

1ответ

Как запустить nutch-сервер на распределенной среде

Я проверил работу ореха в режиме сервера, запустив его с помощью команды bin/nutch startserver локально. Теперь я задаюсь вопросом, могу ли я начать nutch в режиме сервера поверх кластера hadoop (в ра

nutch 2016-09-29

---