hadoop-streaming

1зной

2ответ

У меня есть следующие: Источник - Кафка тема (транс) канал - память Раковина - HDFS (avro_event) Данные в этой теме Кафка транс был написан с использованием переменного тока # производитель и имеет ты

2зной

1ответ

os.environ [ 'mapreduce_map_input_file'] не работает

Я создал простой карты сократить в Python, просто чтобы проверить os.environ['mapreduce_map_input_file'] вызов, как вы можете увидеть ниже: map.py #!/usr/bin/python import sys # input comes from ST

1зной

1ответ

Hadoop MapReduce global counter

Мне нужен глобальный счетчик в моем приложении. Когда все задачи сокращения завершены, я должен напечатать глобальный счетчик. Я нашел решение в Here. Однако я задаюсь вопросом, могу ли я использовать

1зной

1ответ

Elasticsearch-Hadoop получить Неиндексированные данные

У меня есть кластер elasticsearch, у которого есть большой объем данных. Я хочу извлечь все данные из elasticsearch в Hadoop (Hive). Я использовал драйвер Elasticsearch-Hadoop для извлечения данных из

0зной

1ответ

Flume to stream в данных о погоде

Я новичок в flume. , но я хочу передать данные о погоде на любой сайт в мое местоположение hdfs. так что я создал раковина, источник и канал ... как ниже weather.channels= memory-channel weather.chan

0зной

1ответ

данные очистки с использованием программы mapreduce

У меня есть данные с 30 строками. Я пытаюсь очистить данные, используя программу mapreduce. данные очищаются должным образом, но только одна строка отображает 30 строк. Я думаю, что читатель чтения не

0зной

1ответ

Добавление поддержки Zip-файлов в hadoop

У Hadoop по умолчанию есть поддержка для чтения сжатых файлов .gz, я хочу иметь аналогичную поддержку .zip-файлов. Я должен иметь возможность читать содержимое zip-файлов с помощью команды hadoop -tex