nutch

0зной

2ответ

Получить необработанный html страниц, полученных Nutch 2.3.1

Я хотел бы обучить модель НЛП, используя несколько веб-страниц, чтобы получить хорошую точность. Поскольку у меня нет веб-страниц, я рассматриваю возможность использования веб-искателя на Amazon EMR.

2зной

1ответ

Добавление пользовательских полей и типов в индексатор упругости гайки

Я запускал тестовые прогоны по индексу эластичности гайки. Я хотел бы добавить некоторые пользовательские поля и настраиваемые имена типов (вместо «doc»), которые могут быть заданы в качестве аргумент

0зной

1ответ

Проследите путь к базовому URL-адресу, из которого была просканирована внешняя ссылка в гайке

Я внедрил глушитель Nutch с глубиной 3. Теперь, когда я беру данные в cassandra, у меня есть таблица с URL-адресом и данными из этого конкретный URL. Так что я могу отслеживать путь к собственному URL

2зной

2ответ

Динамически добавлять поля в NutchDocument

Я использую Nutch 1.12 с Elastic Search, и я хотел бы добавить поле динамически в NutchDocument. В настоящее время я могу добавить значения статического поля в NutchDocument и в состоянии проиндексиро

2зной

2ответ

Как читать из сегментов Nutch без команды readseg

Я использую Nutch для сканирования некоторых веб-сайтов, точно сканирую this site. У меня есть these five segments со всеми найденными документами (около 10.000 документов). Теперь я хочу обработать с