hadoop-streaming

0зной

1ответ

Hadoop кластера: Hadoop потоковой карты задача выполняется только на одной главной машине не в рабах

у меня есть Hadoop кластер из трех машин: Один мастер (ResourceManager, NameNode, SecondaryNameNode) И два рабы (DataNode, NodeManager) Я бегу программу переменного тока ++ с Hadoop потоковом которых:

1зной

1ответ

Целевые задания с использованием класса, определенного пользователем

Я должен реализовать алгоритм Graph с использованием Map Reduce. Для этого мне нужно создать рабочие места. MAP1 -> REDUCE1 -> MAP2 -> REDUCE2 -> ... Я буду читать соседнюю матрицу из файла в MAP1 и с

0зной

1ответ

Как перепрофилировать начальный классификатор изображений в среде Hadoop

Недавно я попробовал классический классификатор изображений Google на своем ПК с операционной системой Win10. В основном я прошел через этот tutorial/manual. В двух словах шаги были таковы: Установите

1зной

1ответ

Чтение Xml-файла в PySpark через Hadoop Streaming

Я пытаюсь адаптировать код here от версии Scala до версии PySpark. Вот код, я использую: conf = SparkConf().setAppName("Parse Xml File") sc = SparkContext(conf = conf) sqlContext = HiveConte

0зной

1ответ

Узел ERROR.PollingPropertiesFileConfigurationProvider: Не удалось загрузить данные конфигурации. Исключение. org.apache.flume.FlumeException:

here moved snapshot jar in lib folder получает эту ошибку после запуска команды водовода, т.е. пользователя @ убунт: ~/hadoop_store/апач-лоткового-1.4.0-бен/бен $ ./flume-ng агент -n TwitterAgent -c -