непоследовательно медленные запросы в производстве (RDS)

Question

Во-первых, установка сервера:

• Nginx во внешнем интерфейсе к миру
• gunicorn работает приложение колба с GEvent рабочих
• Postgres базы данных, соединение объединенных в приложении , работает с Amazon RDS, связанных с psycopg2 исправлен для работы с GEvent

проблема Я сталкиваюсь необъяснимо медленные запросы, которые иногда работает порядка 100 мс или около того (ид eal), но которые часто растут до 10 или более. Хотя время является параметром в запросе, разница между быстрым и медленным запросом происходит гораздо чаще, чем изменение набора результатов. Это не похоже на какой-либо значимый всплеск использования ЦП, использования памяти, ввода/вывода чтения/записи, частоты запросов и т. Д. Это кажется произвольным.

Я пробовал:

• Оптимизация запроса - безусловно, правильный, но она работает очень хорошо на местном уровне, а также в любое время я попробовал его непосредственно на сервере через PSQL.
• Выполняется на большом/улучшенном экземпляре RDS - В настоящее время я работаю над экземпляром m3.medium с PIOPS и не приближаюсь к этой скорости чтения, поэтому я не думаю, что это проблема.
• Тонкая настройка рабочих-пулеметчиков - Я думал, что это может быть проблемой, если драйвер psycopg2 слишком сильно переключается на контекстный переключатель, но это не повлияло.
• Подробнее - Я работал на достойное количество времени, так что это были всего лишь две вещи, которые я пробовал.

Есть ли у кого-нибудь идеи по отладке этой проблемы?

Answer 1

Вы можете попробовать это изнутри psql, чтобы получить более подробную информацию о времени запроса. EXPLAIN sql_statement Также включите больше регистрации базы данных. mysql имеет медленный анализ запросов, возможно, PostgreSQL имеет эквивалент.

Answer 2

Это то, что разделяет аренда, дает вам непредсказуемые результаты.

Каков размер набора данных, на котором запущены запросы? Хотя Крейг говорит, что это звучит как активность контрольно-пропускного пункта, это не имеет смысла, потому что это RDS. Это больше похоже на выпадение кеша, например; ваши отношения падают из кеша.

Вы говорите, что используете piops, но m3.medium не является оптимизированным экземпляром EBS.

Вам нужно по крайней мере:

1. Высокий уровень экземпляра. Убедитесь, что ваша память больше, чем активный набор данных.

2. EBS Оптимизированные экземпляры, смотрите здесь: http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/EBSOptimized.html

3. Много памяти.

4. PIOPS

К тому времени у вас есть все, что вы понимаете, что вы сэкономите кучу денег толкающего PostgreSQL (или любую базу данных), чтобы обнажить металл и оставляя АМС к тому, что это хорошо , Память и процессор (не IO).