cloudera-cdh

1зной

2ответ

Что это значит, что у моего менеджера ресурсов нет открытого порта 8032?

У меня есть менеджер ресурсов YARN на другом узле, чем мой namenode, и я вижу, что работает, и я беру его в качестве менеджера ресурсов. Порты 8031 и 8030 связаны, но не порт 8032, к которому мой кл

0зной

1ответ

Spark sql: запрос с футляром и тысячами столбцов

У меня был стол с две тысячи колонок. Мне нужно изменить несколько данных столбцов на основе столбца флага. tableSchemaRDD.registerAsTable("customer") var results = sqlContext.sql("select *,case when

1зной

1ответ

Соотношение числа физических ядер и VCores, доступных на YARN?

Я новичок в пряже, и я пишу приложение YARN на Java. В соответствии с требованием, Я могу использовать только N число физических ядер на машине. YARN позволяет установить количество VCores и Memory, к

0зной

1ответ

Hadoop Yarn job: Wrong FS

Я установил клаудер кластера с бродячим боксом. я получаю сообщение об ошибке, когда я запускаю следующий пример: hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar grep input output23

2зной

3ответ

saveAsTable в Спарк 1.4 не работает, как ожидалось

Я хочу сохранить DataFrame как таблицы, используя следующие команды: >>> access_df = sqlContext.read.load("hdfs://10.0.0.220/user/nanounanue/access", format="parquet") >>> df_writer = pyspark.sql.Dat

4зной

1ответ

HDFS Емкость: как читать «отчет dfsadmin»

Я использую Hadoop 2.6.0. Когда я бегу «HDFS dfsadmin -report» Я получил что-то вроде этого (упрощенно): Configured Capacity: 3 TB Present Capacity: 400GB DFS Remaining: 300 GB DFS Used: 100 GB М