hdfs

0зной

1ответ

Настройка Hadoop число преобразователей с входным разветвлением не работает

Я пытаюсь запустить работу хауопа несколько раз с разным количеством карт и редуктора. Я установил конфигурацию: mapreduce.input.fileinputformat.split.maxsize mapreduce.input.fileinputformat.split.min

1зной

1ответ

команда hadoop не найдена даже я установил путь

Я установил кластер одиночных узлов в свою машину. Я получаю сообщение об ошибке, хотя я установил путь hadoop в файле bashrc. мой файл Bashrc выглядит, как показано ниже

1зной

1ответ

Использование Sqoop/Hive, как я могу сохранить информацию внешнего ключа в HDFS с другими данными?

Предположим, что у нас есть таблицы в Mysql, которые нормализуются первичными и внешними ключами. Как только данные будут сохранены в HDFS, мы потеряем информацию об ограничении внешнего ключа. Как я

2зной

1ответ

Кодирование файлов UTF-8 в hadoop

Я пишу программу MapReduce, чтобы очистить некоторые файлы, хранящиеся в HDFS, так как я должен кодировать все файлы в UTF-8, я пытался кодировать значение Text в моем mapper, но у меня все еще есть о

10зной

2ответ

Spark RDD - это раздел (ы) всегда в ОЗУ?

Мы все знаем, что Spark выполняет вычисления в памяти. Мне просто интересно, как это сделать. Если я создаю 10 RDD в моей pySpark оболочке из HDFS, это означает, что все эти 10 RDD сек данных будут на

0зной

3ответ

Как я могу обрабатывать пустые строки, присутствующие в записях, и получать, если их обрабатывать через Spark-Scala?