Когда следует добавлять (автоматически масштабировать) новые экземпляры сервера Nginx?

Question

Должен ли я учитывать использование ЦП, сетевой трафик или проверку времени ответа HTTP? Я провел несколько тестов с Apache AB (с того же сервера - eq: ab -k -n 500000 -c 100 http://192.XXX.XXX.XXX/) - и я отслеживал среднюю нагрузку. Даже если загрузка была между 1.0 - 1.50 (одним основным сервером), «время на запрос» (среднее значение) было довольно прочным, 140 мс для простой динамической страницы с одной командой set/get Redis. Во всяком случае, я смущен, поскольку общий совет - запустить новый экземпляр, когда вы передадите 70% -ный уровень использования ЦП.

Answer 1

70% загрузка процессора - хорошее эмпирическое правило для приложений, связанных с процессором, таких как nginx. Время процессора похоже на температуру тела: на самом деле он скрывает много разных вещей, но является хорошим общим показателем здоровья. Средняя загрузка - это отдельная мера того, сколько процессов ожидает запланированного. Причина, по которой правило составляет 70% (или 80%) использования, заключается в том, что за этот период приложения, связанные с процессором, склонны страдать от латентности, вызванной конкуренцией и нелинейной производительностью.

Вы можете проверить это самостоятельно, построив пропускную способность и латентность (медианный и 90-й процентиль) на использование ЦП в вашей настройке. Поиск точки перегиба для вашей конкретной системы имеет важное значение для планирования пропускной способности.

Очень хорошая запись этого явления приведена в оригинальной статье Facebook о Dyno, их системе для измерения пропускной способности PHP под нагрузкой.

https://www.facebook.com/note.php?note_id=203367363919