Как транспортировать и индексировать данные Кассандры об упругом поиске?

Question

Я начинаю приложение nodejs, где я хочу индексировать данные Cassandra по Elastic Search, но что было бы лучшим способом сделать это? Я взглянул на Storm, чтобы выполнить именно это, но, похоже, решение. Прежде всего, я думал использовать один клиент для Cassandra и один клиент для Elastic Search и дважды вставлять вставки/обновления/удаления в моем приложении, являясь одним на каждого клиента, но, похоже, не подходит, и я беспокоился о последовательности этого. Есть лучший способ переноса данных Cassandra для индексирования на Elastic Search? Шторм поможет мне это сделать? Может ли кто-нибудь предложить какие-либо методы для переноса одной базы данных на другую? Я в этом действительно сомневаюсь, не глядя.

Answer 1

Вы хотите переместить данные из Кассандры в ElasticSearch один раз и только один раз? Или вы хотите синхронизировать их?

В обоих случаях я считаю, что шторм подходит. Я использовал в прошлом для переноса данных с нашей СУБД в Apache Solr. Единственное, что нужно иметь в виду, это предел записей, который может выполнять Solr/Elastic. Если вы увеличили параллелизм, то вы доводите их до колен.

Другим вариантом может быть Apache Hadoop, но он подходит только для однократного копирования или если вы хотите копировать данные (одни и те же данные вчера + то, что может быть новым) каждый день.