hadoop-streaming

0зной

1ответ

Подпроцесс потоковой передачи Hadoop не может найти файл

У меня есть hdfs-каталог, содержащий аудиофайлы. Я хочу запустить fpcalc для каждого файла, используя потоки Hadoop. Я могу сделать это локально без проблем, но в hadoop fpcalc не может видеть файлы.

0зной

1ответ

Hadoop потокового не может получить доступ архива банки

Я бег этой команды Hadoop потоковой: /home/hduser/hadoop/bin/hadoop jar /home/hduser/hadoop/share/hadoop/tools/lib /hadoop-*streaming*.jar -file audio.py -cacheArchive hdfs://localhost:54310/user

1зной

1ответ

Не в состоянии выполнить на основе заданий Python Hadoop Streaming

у меня есть 5 узлов Hadoop кластер, на котором я могу выполнить следующую потоковую работу успешно sudo -u hdfs hadoop jar /usr/lib/hadoop-0.20-mapreduce/contrib/streaming/hadoop-streaming.jar -input

-2зной

7ответ

Как импортировать/загрузить файл .csv в PIG?

позволяет предположить, есть вкладка текстового файла ограничен (datetemp.txt) Я хочу, чтобы загрузить этот текстовый файл в свинью для обработки, но когда я печатаю ниже линий его дает мне ошибку, ка

2зной

1ответ

Как обеспечить, чтобы (маленький) набор данных был реплицирован для всех узлов?

У меня есть небольшой набор данных mysmall, который мне нужен при потоковой обработке большого набора mylarge. Прямо сейчас я hadoop fs -get mysmall hadoop jar hadoop-streaming.jar -files mysmall,mys

1зной

1ответ

Снижается ли производительность Hadoop Streaming, если я использую -mapper cat, а не -mapper org.apache.hadoop.mapred.lib.IdentityMapper?

У меня возникли проблемы с попыткой использовать org.apache.hadoop.mapred.lib.IdentityMapper в качестве аргумента -mapper в Hadoop Streaming 1.0.3. «кошка» работает; делает использование кошачьего эфф

0зной

1ответ

Запуск extrnal питон Lib как (NLTK) с Hadoop потокового

Я попытался с помощью http://blog.cloudera.com/blog/2008/11/sending-files-to-remote-task-nodes-with-hadoop-mapreduce/ zip -r nltkandyaml.zip nltk yaml mv ntlkandyaml.zip /path/to/where/your/mapper/wi

1зной

1ответ

Сохранение типов данных столбцов в выходном сигнале Hadoop UDF (потоковое)

Я пишу UDF в Python для запроса Hive на Hadoop. В моей таблице есть несколько полей bigint и несколько полей string. My UDF изменяет поля bigint, вычитает измененные версии в новый столбец (также долж