hadoop2

0зной

2ответ

Как hadoop решает, сколько узлов будут делать карту и уменьшать задачи

Я новичок в hadoop, и я пытаюсь понять это. Я говорю о hadoop 2. Когда у меня есть файл ввода, который я хочу сделать MapReduce, в программе MapReduce я говорю параметр Split, поэтому он будет делать

0зной

1ответ

Как изменить коэффициент репликации HDFS только для HIVE

Наш текущий HDFS-кластер имеет коэффициент репликации 1. Но для повышения производительности и надежности (сбой узла) мы хотим увеличить коэффициент репликации Hive промежуточных файлов (hive.exec.scr

0зной

1ответ

Как увеличить память для сервера истории заданий

Сервер истории заданий выходит из памяти при попытке загрузить статус задачи после завершения задания. Мы пытаемся увеличить память для сервера истории заданий. Любая идея, как мы можем увеличить XMX

0зной

1ответ

Как я могу справиться с java.net.ConnectException в Hadoop?

Я пытался скопировать некоторые локальный файл в HDFS, с помощью этого сценария: bin/hadoop fs -copyFromLocal '/home/czy/IdeaProjects/HadoopInAction/FirstHadoop/src/main/resources/crossView.txt' /user

0зной

3ответ

Обработка инкрементных данных - Hadoop

У нас было 5 лет данных в кластере, и мы ежедневно загружаем данные. Данные, которые ежедневно добавляются, могут содержать повторяющиеся данные, частично измененные данные и т. Д. 1. Как обращаться с

2зной

2ответ

Что происходит, когда диспетчер ресурсов (RM) спускается в пряже?

Что происходит, когда диспетчер ресурсов (RM) спускается в пряжу? В середине выполнения задания, если диспетчер ресурсов опускается, то что будет с работой? Выполняется ли задание автоматически или на

2зной

1ответ

Hive недостаток запрос - не может определить схему таблицы

Всех ульев запросов к таблице являются неисправной со следующей причиной: java.io.IOException: org.apache.hadoop.hive.serde2.avro .AvroSerdeException: ни avro.schema.literal ни avro.schema.url указано

0зной

1ответ

Как обращаться с входными файлами .gz с Hadoop?

Пожалуйста, позвольте мне представить сценарий: hadoop jar test.jar Test inputFileFolder outputFileFolder где test.jar Информация сортирует по ключу, время и место inputFileFolder содержит несколько .