hadoop-streaming

2зной

2ответ

Пользовательский считыватель ввода в искровом разряде

Я новичок в Spark и хотел бы загружать записи страниц из архива Википедии в RDD. Я попытался использовать устройство чтения с записью в потоке хаопов, но не могу понять, как его использовать. Может ли

1зной

1ответ

прохождение нескольких путей к cmdenv в Hadoop потокового

Я использую Hadoop streaming jar и пытается передать переменную среды, которая указывает на несколько дорожек с использованием -cmdenv. hadoop jar ../hadoop-streaming.jar \ -libjars .../something.jar

0зной

1ответ

ОШИБКА 1200: Неожиданный символ?

Я программировал на свинье, и произошла ошибка, которую я не смог решить. Вот код, который я пытаюсь запустить: --Load files into relations month1 = LOAD 'hdfs:/data/big/data/weather/201201hourly.txt

0зной

1ответ

Connect Hive to Hadoop Streaming

Мне было интересно, есть ли способ подключить вывод Hive непосредственно к потоковому заданию Hadoop без использования промежуточных файлов. Я мог бы использовать INSERT OVERWRITE DIRECTORY для создан

7зной

5ответ

Ошибка Hadoop Java: Исключение из потока «main» java.lang.NoClassDefFoundError: WordCount (неправильное имя: org/myorg/WordCount)

Я новичок в hadoop. Я выполнил учебник maichel-noll для настройки hadoop в одном узле. Я попробовал запустить программу WordCount. Это код, который я использовал: import java.io.IOException; import j

0зной

1ответ

Что такое карта и уменьшить фазу в поиске

Я хочу использовать hadoop для реализации простой поисковой системы. Так что я создал инвертированный индекс с помощью Hadoop потокового API и bash.which вывода, например, файл следующим образом: ab

0зной

2ответ

Запись файла последовательности с использованием mapreduce и org.apache.hadoop.fs. различия?

Я вижу пример записи файла последовательности в hdfs, используя либо org.apache.hadoop.fs пакет, либо mapreduce. Мои вопросы: В чем разница? Является ли конечный результат, я имею в виду, что файл пос