Какова максимальная скорость репликации Couchbase XDCR

Question

В настоящее время мы используем Couchbase для кэширования данных, и есть разговоры о том, что с ним происходит репликация центра обработки данных. Тем не менее, нам понадобится до 1000 документов, реплицированных в несколько мест каждую секунду. Документы будут составлять от 2 до 64 тыс. Каждый.

Есть ли кто-нибудь там с опытом XDCR, который может сказать мне, возможно ли это, или нам придется использовать другие средства для репликации этих данных с такой скоростью. Единственный «контрольный показатель» в документации на Couchbase означает, что скорость XDCR составляет всего около 100TPS. (149 мс для тиражирования 11 документов.)

Answer 1

Частота репликации XDCR ограничена полосой пропускания сети и временем ожидания, а затем CPU и дисковым IO. Предполагая, что у вас достаточно полосы пропускания между центрами данных и вашими кластерами, система Couchbase будет копировать сотни тысяч документов в секунду или более. Это довольно простой эксперимент для запуска, просто настройте XDCR между двумя одиночными кластерами узлов и используйте один из инструментов генератора нагрузки, который поставляется с Couchbase для создания некоторого трафика. (Cbworkloadgen в папке бин Couchbase или CBC-pillowfight, который поставляется с libcouchbase.)

Есть несколько параметров конфигурации вы можете играть с целью оптимизации пропускной способностью, такими как увеличение размера партии, изменяя порог оптимистических репликаций и т.д.