Настройка клиентов SnakeBite HDFS для работы с режимом высокой готовности

Question

Я использую библиотеку snakebite для доступа к HDFS из своих затухающих потоков воздуха.

Мой кластер HDFS был обновлен до режима высокой доступности. Теперь это означает, что клиенты, настроенные на то, чтобы указывать только на один узел имени, будут терпеть неудачу, если этот namenode не является активным узлом.

Какие стратегии можно использовать для обеспечения высокой доступности режима доступности? Могу ли я настроить клиентов snakebite на переход на другой узел? Могу ли я использовать какой-то loadbalancer для прямого трафика на правый namenode?

Answer 1

Оказалось, что у Snakebite нет ни одного решения, а два решения этой проблемы: AutoConfigClient, который берет свои конфиги из конфигураций hadoop и HAClient, который принимает два наменоведения.

В моем случае я фактически использовал snakebite через воздушный поток. Оказывается, HDFSHook воздушного потока достаточно умен, чтобы справляться с двумя наменоводами, предоставляемыми в одном соединении, и затем будет использовать HAClient.