Как использовать ZooKeeper с Hadoop для обмена переменной чтения/записи среди редукторов

Question

Мой вопрос: Как использовать ZooKeeper с Hadoop, чтобы все редукторы могли getData()/setData() в один общий znode?

Мой вариант использования заключается в том, что мне нужно поделиться глобальной переменной чтения/записи среди редукторов в моей задаче MapReduce. Я пытаюсь использовать ZooKeeper для этой цели. Я создал объект ZooKeeper, который создает znode и дает ему начальное значение. Следующим шагом является то, что мне нужны все редукторы, чтобы иметь возможность getData()/setData() для этого znode. Для этого требуется передать объект ZooKeeper всем редукторам, которые я не знаю, как это сделать. Я попытался сериализовать объект ZooKeeper и передать его редукторам (через свойства конфигурации или через распределенный кеш), но класс ZooKeeper не является сериализуемым.

Учебники ZooKeeper и все примеры, которые я смог найти, иллюстрируют ZooKeeper с многопоточными приложениями, но ни один из них не показывает, как использовать ZooKeeper с картографами или редукторами.

Answer 1

Вы не можете передать объект ZooKeeper сам по себе в карты/редукторы. Просто укажите конфигурацию, необходимую для создания экземпляра объекта ZooKeeper в карте/редукторе (например, connectionString) и передать его через Configuration.

Взаимодействие с ZooKeeper внутри карт/редукторов не отличается от обычной Java-программы.