Лучшая практика хранения с использованием графита

Question

Я был счастливым пользователем Graphite + Grafana в течение нескольких месяцев, и я защищал его вокруг своей фирмы.

Мой подход заключается в том, чтобы измерять данные, представляющие интерес, и собирать их в 1-минутные или 5-минутные ведра и отправлять эту информацию в Graphite. Недавно меня связала группа, которая обрабатывает кавычки (миллиарды в день!), И их подход заключался в создании строки журнала каждый раз, когда их приложения обрабатывают 1 миллион котировок. Проблема в том, что интервал между двумя лог-линиями может быть очень неустойчивым с 1 секунды до нескольких часов.

Дилемма заключается в следующем: следует ли установить политику хранения на 1-секундный ковш, чтобы я мог видеть все измерения, связанные с шипами, или я должен использовать, скажем, 1-минутный ведро, чтобы количество точек данных было сохраненный, а затем запрошенный намного более управляемый. FYI, когда я установил его на 1 секунду, показывая данные для 8 или 10 диаграмм, в течение нескольких дней приводил систему (или, по крайней мере, мой браузер) к обходу из-за количества точек данных (в основном NULL) помыкать из графита в графана

Вот моя политика хранения: 1s: 10d, 1m: 36d, 5m: 180d

Кроме того, есть ли способ настроить графана + Graphite только получить не-NULL точек данных?

Что вы рекомендуете?

Answer 1

Вы всегда можете указать более низкий период хранения для 1-й метрики, поэтому, когда вы показываете более длинный диапазон, Graphite отправит вам только более грубый уровень.

Например, вы можете указать: 1s: 2d, 1m: 7d, 5m: 180d

Таким образом, если вы покажете в диапазоне более чем на 2 день в прошлом вы получите ое разрешение (и так далее), который не заставит ваш браузер сканировать, в то время как вы по-прежнему сможете проверять всплески за последние 2 дня.