Конфигурация памяти Impala в cloudera

Question

Я пытаюсь понять настройки памяти Impala на моем кластере.

У нас есть хосты с 48 ГБ памяти в кластере. Для хоста, когда я смотрю на ресурсы памяти для каждой службы в менеджере cloudera, я вижу, что для Impala-демона выделено 38 Гб памяти. Но, предел памяти Impala Daemon установлен в O, в конфигурациях Impala.

Итак, где значение 38GB получает назначение на Impala Daemon?

И я считаю, что предел памяти Impala Daemon является пределом уровня узла, а не уровнем кластера. Это правильно?

Обратите внимание: статические и динамические пулы также не настроены.

Answer 1

Если вы не установите ограничение на память процесса, Impala по умолчанию использует 80% памяти в системе, так как это ограничение объема процесса. (Да, предел памяти процесса является значением для каждого узла, а не значением для всей кластера.)

Обратите внимание, что это не означает, что 80% системной памяти действительно доступно, но Impala ограничит себя 80 % от памяти. Это означает, что если у вас есть другие процессы, использующие эту память, вы увидите обмен.