hadoop-streaming

1зной

3ответ

Как я могу создать одну команду оболочки Linux из двух команд, которые ведут себя как стандартный трубопровод?

Я пытаюсь использовать Hadoop Streaming для запуска двух команд, таких как gunzip | map_to_old_format.py, но это ошибки с gzip, говорящие «| .gz not found» или что-то в этом направлении (только при за

3зной

1ответ

Использование HBase для извлечения данных для расчета сходства текста с помощью Mahout

В моем проекте мы пытаемся вычислить текстовое сходство набора документов, для которого я столкнулся с 2 проблемами. Я не хочу пересчитывать термины Частота документов, которые я ранее рассчитывал. на

1зной

3ответ

«./manage.py запускает сервер» перезапускается, когда запущены карты сельдерея/сокращения задач; Иногда возникает ошибка с inner_run

У меня есть вид в моем проекте django, который срабатывает с задачей сельдерея. Задача сельдерея запускает несколько заданий по карте/сокращению с помощью подпроцесса/ткани, а результаты задания hadoo

1зной

2ответ

Сбой Hadoop в середине отображения карты/уменьшения

Я использую hasoop 1.0.1 на одном узле, и я пытаюсь передать файл с разделителями табуляции с помощью python 2.7. Я могу использовать скрипты подсчета слов Майкла Нолла для работы с использованием has

0зной

1ответ

Hadoop: странный ClassNotFoundException

Я получаю исключение classnotfound. Класс, который, как утверждается, не найден, не существует, но имя класса задается как путь к списку входных файлов для моей работы по сокращению карты. INFO server

0зной

1ответ

Как настроить распределенную работу по сокращению карты с использованием потоковой передачи данных и рубиновых карт/редукторов?

Я могу запустить локальный сборщик и редуктор, построенный с использованием ruby с входным файлом. Хотя я не понимаю о поведении распределенной системы. Для системы производства у меня есть HDFS, ус