hadoop-partitioning

0зной

1ответ

У меня есть проблема с производительностью с кодом, который я редактирую, каждый раз будет давать OOM при выполнении счета. Я думаю, что я нашел проблему, в основном после keyBy tranformation, исполня

0зной

1ответ

Кто будет обновлять metdata в узле Name в Hadoop?

В случае, если HDFS пишет, как метаданные обновляются в узле имени. Когда клиент записывает данные в узлы данных. Либо узлы данных, либо клиент HDFS будут обновлять метаданные в узле имени.

1зной

1ответ

, кто создаст идентификаторы блоков для блоков в hadoop?

Я хотел знать, кто создаст идентификаторы блоков для блоков в hadoop либо клиенте HDFS, либо узле Name. Пожалуйста, дайте мне знать.

1зной

1ответ

АгрегатByKey Разметки?

у меня есть: A_RDD = anRDD.map() B_RDD = A_RDD.aggregateByKey() Хорошо, мой вопрос: Если я поставил partitionBy (новый HashPartitioner) после A_RDD как: A_RDD = anRDD.map().partitionBy(new HashPar

0зной

1ответ

Копирование таблицы управления улей путем копирования каталогов разделов на склад

У меня есть существующая таблица в квадратных скобках, которая содержит YEAR, MONTH, DAY, но я хочу добавить дополнительное разбиение на , столбец, который не существует в существующей таблице. Это до

1зной

1ответ

Как переписать значение столбца, выбрав другие столбцы в таблице разделов в hive

Привет, как перезаписать значение столбца, выбрав одну таблицу разделов в кусте. Я создал таблицу с помощью запроса ниже CREATE TABLE user (fname string,lname string) partitioned By (day int); И я в

0зной

1ответ

Как читать несколько строк в Spark, где каждая запись журнала начинается с формата yyyy-MM-dd, и каждая запись журнала является многострочной?

Я реализовал ниже логики в Скале до сих пор для этого: val hadoopConf = new Configuration(sc.hadoopConfiguration); //hadoopConf.set("textinputformat.record.delimiter", "2016-") hadoopConf.se

1зной

1ответ

Как переименовать все столбцы разделов в куст

Когда я пытаюсь переименовать все столбцы разделов в существующей таблице для диапазона дат одного года, которые разделены - это то, что я получаю. hive> ALTER TABLE test.usage PARTITION ('date') RENA