Cassandra: ремонт инструмента подвесного узла

Question

У нас было 3 региона для кластера cassandra, каждый из которых состоял из 2 узлов, всего 6. Затем мы добавили еще 3 региона, теперь у нас есть 12 узлов кассандры в кластере. После добавления узлов мы обновили коэффициенты репликации и начали ремонт nodetool. Но команда висит более 48 часов и еще не закончена. Когда мы просматривали журналы 1 или 2, AntiEntropySessions все еще ждут, потому что некоторые из CF не полностью синхронизированы. Все AntiEntropySessions успешно получают дерево merkle из всех узлов для всех CF. Но некоторые ремонтные ч/б некоторые узлы не завершены для некоторых CF, поэтому это приводит к ожидающим AntiEntropySessions, и ремонт висит.

Мы используем Cassandra 1.1.12. Теперь мы не сможем обновить Кассандру. Мы перезапустили узлы и снова начали ремонт, но он все еще зависает. Мы наблюдали один CF, который часто читает и записывает в начальных 3 областях, которые активны во время ремонта, полностью не синхронизируется во все времена.

Необходимо ли, чтобы во время выполнения ремонта не было никаких операций чтения/записи в любом CF? Или предложите мне, что может быть проблемой?

Answer 1

Cassandra 1.1 очень старый, поэтому трудно запомнить точные проблемы, но возникли проблемы с потоковой передачей, которые могли бы повесить. Некоторыми причинами были такие вещи, как если время чтения было отключено или было сброшено соединение. Поскольку вы прошли мимо 1.1.11, хотя ваш «ОК» попробовал ремонт поддиапазона.

Попробуйте найти подходящий диапазон токенов, который вы можете отремонтировать за час (продолжайте работать с меньшим и меньшим диапазоном, пока не сможете его завершить), установите время ожидания в пару часов. Ожидайте некоторого ремонта сбой (тайм-аут), чтобы просто повторить их, пока они не закончатся. Если вы не можете получить его после того, как много попыток продолжат делать этот поддиапазон меньшим, но даже тогда у него могут быть проблемы, если у вас очень большой раздел (можно проверить с помощью nodetool cfstats), что сделает его намного хуже.

Как только вы получите завершенный ремонт, обновите, как сумасшедший.