hadoop-streaming

8зной

2ответ

Hadoop: задание выполняется хорошо на меньшем наборе данных, но не с большим набором данных

У меня есть следующие ситуации У меня есть 3 машины кластера со следующими confirguration. Master Usage of /: 91.4% of 74.41GB MemTotal: 16557308 kB MemFree: 723736 kB Slave 01 Usage of /: 52.9

0зной

2ответ

Сплит-файл во время записи

гуру! Долгое время я не могу найти ответ на следующий вопрос: как hasoop разбивает большой файл во время записи. Пример: 1) Размер блока 64 Мб 2) Размер файла 128 Мб (плоский файл, содержащий текст).

0зной

3ответ

Hadoop Streaming с RVM не находит Gem

Оригинальный вопрос (длинная версия ниже). Короткая версия: Выполнение потоковой передачи с помощью рубинового скрипта, поскольку mapper и rvm, установленные на всех узлах кластера, не работают. Поско

2зной

1ответ

Какой из них выбрать: Hadoop custom jars, Hadoop Streaming, Pig или Mahout?

Я работаю над проектом NLP, который может создавать сущности и вычислять попарное сходство от крупномасштабных корпусов. В настоящее время я использую hadoop streaming и реализовал все карты и редукто

0зной

1ответ

Создание объекта задания Hadoop для потоковой передачи Hadoop

Я пытаюсь настроить и запустить задание Hadoop Streaming с Java (система, с которой я работаю, хочет, чтобы задания Hadoop вызывались методом Java). Я нашел метод createJob в org.apache.hadoop.streami

1зной

1ответ

Hadoop MapReduce Job Input File ClassNotFound

Я создаю образец Map/Reduce task на кластере hadoop, состоящем из двух узлов - master/slave и slave. Ниже приведены мои данные: $HADOOP_HOME = /usr/local/hadoop My M/R classfiles path = $HADOOP_HOME/

1зной

2ответ

Получить информацию о текущем потоке с помощью hadoop

Все задания Hadoop имеют уникальную работу. Вы можете использовать jobid для получения статуса работы или счетчика заданий. Вопрос в том, как я могу получить jobid задания, которое я только что запуск