Может ли cloudera impala использовать узлы задач в EMR?

Question

Я экспериментировал с Impala на EMR, и мне кажется, что он использует только основные узлы в кластере, а не узлы задачи.

Я использую встроенную установку Impala, предоставляемую EMR, которая составляет 1.2.4. Когда у меня есть узлы задач в моем кластере, они появляются в списке «Известные серверы» в приложении администрирования Impalad. Однако на странице «запросы» в разделе «Запросы» он всегда показывает имена хостов основных узлов в моем кластере, а не узлы задач. Это говорит о том, что запросы выполняются только на основных узлах. Возможно, это потому, что HDFS только на основных узлах?

Можно ли подтвердить это? И если да, есть ли способ заставить их использовать их?

Приветствия Том

Answer 1

Impala будет работать только запросы на основных узлах (DataNodes), поскольку каждый процесс Impala читает/прямо пишет в локальном хранилище HDFS. Это один из способов, с помощью которого Impala повышает производительность.