hdfs

0зной

1ответ

У меня есть система регистрации, которая записывает 5-минутные агрегаты в Hadoop, более ~ 60 ГБ данных каждый час. Моя проблема возникает, когда, просматривая данные, некоторые часы пик кажутся неполн

0зной

1ответ

Как получить абсолютные пути конечных каталогов?

У меня есть структура каталогов следующим образом в HDFS, /data/current/population/{p_1,p_2} /data/current/sport /data/current/weather/{w_1,w_2,w_3} /data/current/industry The папки population, sport,

4зной

3ответ

Как клиент HDFS знает размер блока при записи?

Клиент HDFS находится вне кластера HDFS. Когда клиент HDFS пишет файл, чтобы клиенты HDFS разбивали файлы на блоки, а затем записывали блок в datanode. Вопрос в том, как клиент HDFS знает Blocksize? Р

0зной

1ответ

Как импортировать данные из файла .sql.bz2 в hdfs?

Я новичок в Hadoop и HDFS и у меня есть сжатый файл SQL: ETIMCBG11-Июль-2016-08-00.sql.bz2 у меня нет доступа к базе данных, откуда этот файл был экспортирован. и мне нужно импортировать эти данные в

0зной

1ответ

Файл каталога Hadoop в папку пользователя

Я создал папку в корневом каталоге напрямую, и я пытаюсь скопировать папку в hdfs hadoop, но я получаю сообщение об ошибке. Это те шаги, которые я следовал: [[email protected]] ls XXdirectoryXX [[em

2зной

1ответ

Можно ли сохранить RDD на HDFS?

Я знаю, что RDD может сохраняться/кешировать память, диск или и то, и другое, но можно также сохранить его на HDFS. Проблема, с которой я сталкиваюсь, заключается в том, что у меня слишком мало памяти