Как предотвратить журналы регистрации Cassandra, заполняющие дисковое пространство

Question

Я запускаю кластер Datastax AMI с двумя узлами на AWS. Вчера Кассандра начала отказываться от связей со всем. Системные журналы ничего не показывали. После лота, я обнаружил, что журналы фиксации заполнили все пространство на выделенном монтировании, и это, казалось, вызвало отказ в подключении (удалил некоторые из журналов фиксации, перезапустил и смог подключиться).

Я на DataStax AMI 2.5.1 и 2.1.7 Кассандры

Если я решу, чтобы стереть и перезапустить все с нуля, как я могу гарантировать, что это не повторится?

Answer 1

Вы можете попробовать опустить установку commitlog_total_space_in_mb в свои cassandra.yaml. По умолчанию используется 8192 МБ для 64-битных систем (он должен быть закомментирован в вашем файле .yaml ... вам нужно будет его прокомментировать при настройке). Как правило, рекомендуется планировать это при определении размера вашего диска (ов).

Вы можете проверить это, запустив du на ваши commitlog каталога:

$ du -d 1 -h ./commitlog 
8.1G ./commitlog 

Хотя, меньше совершают пространство журнала будет вызывать более частые приливы (увеличенный диск I/O), так что вы хотите Следите за этим.

Answer 2

В дополнение к уменьшению размера commitlog, предложенному BryceAtNetwork23, правильное решение для обеспечения его повторения не приведет к мониторингу установки диска, чтобы вы были предупреждены о его заполнении и успели действовать/увеличиваться размер диска.

Увидев, что вы используете DataStax, вы можете установить предупреждение для этого в OpsCenter. Я не использовал это в облаке, но, полагаю, это сработает. Оповещения можно установить, нажав «Оповещения» в верхнем баннере -> «Управление оповещениями -> Добавить оповещение». Настройте крепления для просмотра и пороговые значения для включения.

Или, я уверен, что есть инструменты для мониторинга дискового пространства.