hadoop-streaming

0зной

1ответ

Кто будет обновлять metdata в узле Name в Hadoop?

В случае, если HDFS пишет, как метаданные обновляются в узле имени. Когда клиент записывает данные в узлы данных. Либо узлы данных, либо клиент HDFS будут обновлять метаданные в узле имени.

0зной

1ответ

Как имя узла обновляет доступность Узлов данных для записи HDFS в Hadoop

У меня есть 10 узлов данных, коэффициент репликации равен 3, размер файла - 150, а размер блока - 64. Таким образом, файл будет разбиваться на три блока B1, B2, B3. Таким образом, клиент запрашивает и

1зной

1ответ

, кто создаст идентификаторы блоков для блоков в hadoop?

Я хотел знать, кто создаст идентификаторы блоков для блоков в hadoop либо клиенте HDFS, либо узле Name. Пожалуйста, дайте мне знать.

0зной

1ответ

Hadoop Streaming API с Python картографом сценария - Файл не найден

У меня та же проблема, что и пользователи по этому вопросу: Hadoop Streaming - Unable to find file error Как и в этом другом вопросе, я использую почтовый файл, который содержит дополнительный код Pyt

0зной

1ответ

Как разделить задачи сокращения карты?

У меня есть таблица, содержащая 200 столбцов, из которых мне нужно около 50 столбцов, упомянутых в списке, и строки последних 24 месяцев в соответствии с меткой времени столбца. Я смущен тем, что вход

0зной

1ответ

Как выполнить предварительную обработку данных с помощью Hadoop MapReduce или Spark?

Я очень новичок в Hadoop MapReduce/Spark, для моего целевого проекта я хочу выполнить предварительную обработку данных с помощью Hadoop MapReduce/Spark. Я знаю основы Hadoop MapReduce, но я не знаю, к

1зной

2ответ

Как отрегулировать интервал контрольной точки в hadoop? и почему требуется checkpoint_intereval?

Я пробовал это практически понять концепцию, но я до сих пор не ясно. сказать, например, fs.trash.interval = 9min и fs.trash.checkpoint.interval = 2мин Теперь я удалю file1 в 10:00 и file2 в 10:03. Он