hadoop-partitioning

0зной

1ответ

hadoop - добавление дисков в существующий кластер

У меня есть 4 узла кластера hadoop, я добавляю еще 3 диска для каждого узла в свой кластер. Я подключил свои 3 диска в одном из узлов (мастер), и я добавил свойство dfs.data.dir. Если я это сделаю, мо

1зной

2ответ

Как получить наиболее однородные результаты разделения?

Я не знаю, есть ли какой-либо algrithom, чтобы получить оптимальное парирование для раздела данных на основе ключей (необходимо обеспечить одинаковые записи ключей в одном наборе данных результата). Н

0зной

2ответ

Раздел запроса с расчетом и избегайте полного сканирования таблицы

Я аналитик, пытающийся построить запрос, чтобы извлекать данные за последние 7 дней из таблицы в Hadoop. Сама таблица разделена по дате. Когда я тестирую свой запрос с жестко закодированными датами, в

1зной

1ответ

Использование Hadoop Partitioner и Comparator Class Together

У меня есть файл с двумя столбцами id и timestamp. Я подсчитываю количество сеансов, каждое из которых имеет значение - определяется бездействием более 30 минут. Однако у меня возникают проблемы с пот

3зной

2ответ

FAILED: ParseException: не может распознать ввод рядом с 'exchange' 'string' ',' в спецификации столбца

Я использую последнюю версию AWS Hive версии 0.13.0. FAILED: ParseException: cannot recognize input near 'exchange' 'string' ',' in column specification Я получаю вышеуказанную ошибку, когда запуска

1зной

1ответ

Hadoop получать разницу во времени между датами

Я изо всех сил что-то подобное в Hadoop я получаю следующее в результате моего картографа KeyValue1, 2014-02-01 20:42:00 KeyValue1, 2014-02-01 20:45:12 KeyValue1, 2014-05-01 10:35:02 KeyValue2, 201

1зной

1ответ

isSplitable in combFileInputFormat не работает

У меня есть тысячи небольших файлов, и я хочу обработать их с помощью combFileInputFormat. В combFileInputFormat имеется несколько небольших файлов для одного картографа, каждый файл не будет разделен