hdfs

0зной

1ответ

Как использовать команду разделения linux для файла в HDFS?

У меня есть большой файл в HDFS и вы хотите разбить его на несколько кусков. Если файл находится в моей локальной файловой системе, я могу использовать split для его достижения. Однако файл находится

0зной

2ответ

Hadoop не видит мой каталог ввода

Я следую за Apache Map Reduce tutorial, и я нахожусь в точке назначения каталогов ввода и вывода. Я создал оба каталога здесь: ~/projects/hadoop/WordCount/input/ ~/projects/hadoop/WordCount/output/

1зной

3ответ

Ошибка во время работы файла maven jar

Я создал файл maven jar из eclipse. Ошибка при запуске jar. Ошибка: A JNI error has occurred, please check your installation and try again Exception in thread "main" java.lang.NoClassDefFoundErr

1зной

1ответ

Сжатый файл VS несжатый файл в mapreduce. который дает лучшую производительность?

У меня есть файл csv объемом 10 ГБ, и я хочу обработать его в Hadoop MapReduce. У меня есть кластер из 15 узлов (Datanode), и я хочу максимизировать пропускную способность. Какой формат сжатия следует

0зной

1ответ

Как происходит разделение блоков в HDFS?

Большие данные Hadoop 1-го поколения. Я очень новичок в Apache Hadoop. Я просто сомневался, что мой вопрос не имеет значения. Проблема: проблема с количеством слов (сухая отладка). Пример: Имя файла: