hadoop2

0зной

1ответ

Выполнение чего-либо перед запуском задачи карты

В настоящее время я использую hadoop для обработки задачи подсчета для большого набора данных (около 3 концертов). Мне нужно подсчитать что-то, что заполняется в том же временном интервале. Например:

0зной

1ответ

Как получить список классов Java, которые называются, когда мы запускаем команду

Есть ли команда, с помощью которого, что все классы Java, которые будут вызываться, если мы подаем команду типа: hdfs dfs –copyFromLocal data.txt /tmp

0зной

2ответ

Использование вторичного namenode в Hadoop в 2.x

Насколько я знаю, Hadoop 1.x имел вторичный namenode, но использовался для создания изображения основного namenode, и он обновляет первичный namenode, когда он терпит неудачу, и снова запускает , Но к

2зной

1ответ

Что такое использование SequenceFileInputFilter.Filter в Hadoop

Я могу видеть SequenceFileInputFilter.Filter имеет принять метод, который возвращать Boolean, здесь мы можем поставить проверить текущий ключ обработки, если текущий ключ обработки не нашего интереса,

1зной

1ответ

Java Mapreduce group by complexkey и sort

У меня есть задание mapreduce, которое выполняет некоторую обработку и создает сложный ключ (реализует WritableComparable) города: фрукты с соответствующим счетом. Теперь я хочу связать его со вторичн

1зной

1ответ

Невозможно обработать Xml в свинье

Я новичок в работе с свиньями. Я столкнулся с проблемой при обработке XML-файла и следующей команды является то, что я использовал: register '/usr/lib/pig-0.12.0/contrib/piggybank/java/piggybank.jar'

4зной

2ответ

Querying Hbase эффективно

Я использую Java как клиент для запроса Hbase. Моя Hbase таблица устанавливается следующим образом: ROWKEY | HOST | EVENT -----------|--------------|---------- 21_1465435 | host.hst.com | clicke

0зной

1ответ

чем разница между hadoop.tmp.dir и mapred.temp.dir и mapreduce.cluster.temp.dir

Я хочу знать, что разница между hadoop.tmp.dir и mapred.temp.dir также как mapred.temp.dir [устаревшее] отличается от mapreduce.cluster.temp.dir

-1зной

1ответ

Почему datalocalization не применяется для фазы сортировки и перетасовки в процессе сокращения карты?

Я узнал, что datalocalization применим только в фазе сопоставления, что означает, что он сохранит вывод отображения в temp [настроен в mapred-site.xml в локальной файловой системе], чтобы справиться с