Уменьшение задержки между узлами Spark и HBase

Question

Я испытываю высокую задержку между узлами Spark и узлами HBase. В текущих ресурсах, которые мне требуются, я запускаю HBase и Spark на разных серверах.

HFiles сжаты с помощью алгоритма Snappy, который уменьшает размер данных в каждом регионе от 50 до 10 ГБ.

Тем не менее, данные, передаваемые по проводам всегда распакованы, поэтому чтение занимает много времени - около 20 МБ в секунду, что около 45 минут для каждого 50GB региона.

Что делать, чтобы ускорить чтение данных? (Или, текущая пропускная способность считается высокой для HBase?)

Я собирался локализовать HBase HFiles локально на машинах Spark вместо постоянного запроса данных из HBase. Является ли это возможным?

Какова наилучшая практика для решения такой проблемы?

Thanks

Answer 1

Вы думаете в правильном направлении. Вы можете скопировать HFiles в кластер HDFS (или Машины), где работает искра. Это приведет к экономии декомпрессии и уменьшению передачи данных по проводу. Вам нужно будет прочитать HFiles из сжатия Snappy и написать синтаксический анализатор для чтения.

В качестве альтернативы вы можете применять фильтры Column и ColumnFamily, если вам не нужны все данные из Hbase.