Репликация через события Kafka vs. mysql

Question

Мне нужно сохранить копию внешней базы данных (включая некоторые дополнительные производные данные). С тем же набором аппаратных средств, который из одного из следующих решений даст мне более быструю согласованность (низкое отставание) с высокой доступностью? Предположим, что обновления для внешней базы данных происходят с 1000 записей в секунду.

a) Создайте локальную реплику mysql внешнего db, используя репликацию mysql 5.7 (механизм файла двоичного журнала).

ИЛИ

б) Получить в режиме реального времени Кафка событие от внешней системы, делая HTTP GET для извлечения обновленных деталей объекта и использовать эти данные для поддержания локального MySQL реплики.

Answer 1

Первый почти наверняка даст вам более низкое отставание (так как есть только две системы, а не три). Доступность примерно такая же - у Kafka высокая доступность, но у вас есть две базы данных с обеих сторон.

Второй вариант лучше, если вы считаете, что хотите отправить данные в режиме реального времени в дополнительную систему. То есть: MySQL1 -> Kafka -> (MySQL2 + Elastic Search + Cassandra + ...)

Answer 2

Ненавижу отвечать на вопросы с помощью «просто используйте эту штуку вместо этого», но я беспокоюсь, что вы готовитесь немного тяжелее, чем вам может понадобиться, или, может быть, вы это сделаете, и я неправильно прочитал.

Рассмотрите сплетничный инструмент, такой как serf.io. Он почти закончен и может дать вам именно то, что вам может понадобиться, с чем-то более легким, чем кластер kafka или пара mysql.