0
Это было предложено мне ..Сколько картограф используются в улье для обработки Таблицы 1 Гб
Если имеется 10 узлов и в таблице 1 ГБ является необходимо обрабатывать в улье. Итак, сколько картографов используется?
A
ответ
1
Как определить количество карт?
Относительно легко определить, но сложнее контролировать количество преобразователей по сравнению с количеством редукторов. Число датчиков может быть определено следующим образом: Сначала определите, что входные файлы являются разделяемыми или нет. Файлы GZipped и некоторые другие сжатые файлы по своей природе не расщепляются Hadoop. Обычные текстовые файлы, JSON-документы и т. Д. Являются разделяемыми.
Если файлы расщепимы:
- Вычислить общий размер исходных файлов.
- Число mappers = общий размер, вычисленный выше/размер разделенного входа, определенный в конфигурации Hadoop. Например, если общий размер ввода равен 1 ГБ, а размер разделенного входа установлен на 128 МБ, то: Число карт = 1 x 1024/128 = 8 карт.
Если файлы не щепляемые:
- В этом случае число картографов равно число входных файлов.
Кроме того, Fileformat также играет определенную роль.
+0
Hi Nidhin, Так как это таблица Hive (HDFS). Я думаю, что расщепление уже сделано. Во время работы с hadoop хорошо сказать «количество split = число картографов». Но это работает в Улье? – user1999758
это головоломка? – YoungHobbit
Это один из вопросов, которые я задаю в интервью ... это зависит от того, как настроена таблица, ее формата файла и настройки HDFS. –
Roberto Спасибо за ответ. Не могли бы вы быть более краткими в этом вопросе? Большое спасибо заблаговременно – user1999758