Что такое ElasticSearch-Hadoop (es-hadoop) и его преимущество над HBase для веб-приложения в реальном времени?

Question

Мне не совсем понятно, что такое es-hadoop от description.

Это просто «коннектор», который перенесет данные из вашего кластера ES на HDFS для аналитики Hadoop? Если да, почему бы просто не пойти с HBase для текстовых запросов с малой задержкой?

Является ли es-Hadoop другой установкой, чем обычная ES?

Некоторые уточнения пожалуйста.

Спасибо.

Answer 1

ES-Hadoop ближе к разъему между экосистемой Hadoop и ES. Это не отдельный выпуск ES.

В основном это улучшает интеграцию между экосистемным приложением Hadoop и ES. В моих организациях мы используем эту функцию для 2 целей:

1. Перед индексирования данных в ES, мы используем искру для анализа данных и выполнять соответствующую агрегацию, чтобы уменьшить количество индексации, которая должна быть выполнена на ES. ES-Hadoop помогает нам индексировать непосредственно из структур данных Spark в ES. Мы начинаем процесс индексирования с помощью одной строки кода и не нужно сами писать программу индексирования. (Функция настраивается, и у вас есть возможность индексировать данные, как вам нравится).

2. В нашей организации мы используем ES как наш ближайший аналитический кластер в реальном времени. Данные в ES размещены таким образом, чтобы обеспечить лучшую производительность для наших клиентов. Иногда (обычно, когда у нас есть идеи о некоторых новых функциях), мы должны получить данные от ES и выполнить сложную обработку данных. В этих случаях мы можем создать структуру данных Spark из данных ES в одной строке кода.

Таким образом, ES-Hadoop ближе к хорошо написанному разъему. Вам все равно придется переносить данные из вашего ES-кластера в Hadoop.

Я не уверен в сравнении с HBase. Вы не можете сравнить функции HBase, которые являются хранилищем ключевых значений по сравнению с ES, который является поисковой системой общего назначения +, реализованы очень хорошие возможности аналитики в последние версии. Как я вижу, мы имеем дело с различными инструментами, которые обращаются к различным проблемам.