2017-02-17 17 views
0

Я запускаю ES на экземпляре AW2 EC2 t2.small, и я испытываю внезапное и массивное падение кредитов ЦП каждый раз в то время.Elasticsearch: высокая загрузка ЦП

https://www.dropbox.com/s/0pw0qfudoca899f/cpu_credits.png?dl=0

Падение началось в понедельник, что при создании 4 новых индексов протоколирования что недели бревен. В настоящее время у нас есть ~ 60 индексов регистрации, которые в основном просто получают запросы на вставку, и редко выполняется поиск. У нас также есть около 30 индексов, которые активно ищут, и по крайней мере 10 из них получают регулярные массовые обновления.

В прошлый раз, когда я столкнулся с такой проблемой, я удалил кучу старых индексов и, похоже, помог, однако я бы предпочел избежать этого.

Каковы наиболее распространенные причины использования высоких ресурсов? Количество индексов? Количество записей в них? Количество выделенных осколков? Количество обновлений для записей или сопоставление (есть некоторые индексы с тысячами полей)?

Сообщите мне, если есть какая-либо информация, которую я мог бы предоставить, и заблаговременно за любую помощь по устранению этой проблемы.


EDIT 1:

Output from _cat/indices?v

Output from _nodes/stats

+0

Можете ли вы предоставить то, что вы получаете от 'curl localhost: 9200/_cat/index? v' и' curl localhost: 9200/_nodes/stats' для стартеров? – Val

+0

@Val добавил (а) сообщение – Criss

+0

Итак, с 't2.small', я полагаю, у вас есть 1 ГБ ОЗУ, выделенный для кучи ES, верно? Одна вещь, которую я замечаю, заключается в том, что с учетом очень небольшого размера ваших индексов (<100 мб) у вас слишком много осколков, одного осколка будет более чем достаточно. Поскольку каждый осколок потребляет ресурсы, вам будет лучше. – Val

ответ

0

Так с t2.small я полагаю у вас есть 1 ГБ оперативной памяти выделяется в куче ES, не так ли? Одна вещь, которую я замечаю, заключается в том, что, учитывая очень небольшой размер ваших индексов (< 100mb), у вас слишком много осколков, одного осколка будет более чем достаточно. Поскольку каждый осколок потребляет ресурсы, вам будет лучше.

Одна вещь, которую вы можете сделать, - это объединить все ваши индексы, то есть поместить все недельные индексы go_request_data-2016 в год с одним осколком и т. Д. Вероятно, вы, вероятно, закончите с множеством индексов и осколков без необходимости удалять любые данные

+0

20 часов до тех пор, пока я не смогу наградить. Держитесь крепко. – Criss

+0

Не беспокойтесь, спасибо большое! – Val