Как очистить информацию об уровне стружки с помощью прометеев кубернетов?

Question

Я пытаюсь очистить информацию об уровне слоя, используя prometheus kubernetes. Вот конфигурация, которую я использую:

- job_name: 'kubernetes-pods' 

    kubernetes_sd_configs: 
    - api_servers: 
    - 'https://kubernetes.default' 
    role: pod 
    relabel_configs: 
    - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape] 
    action: keep 
    regex: true 
    - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_path] 
    action: replace 
    target_label: __metrics_path__ 
    regex: (.+) 
    - source_labels: [__address__, __meta_kubernetes_pod_annotation_prometheus_io_port] 
    action: replace 
    regex: (.+):(?:\d+);(\d+) 
    replacement: ${1}:${2} 
    target_label: __address__ 
    - action: labelmap 
    regex: __meta_kubernetes_pod_label_(.+) 
    - source_labels: [__meta_kubernetes_pod_namespace] 
    action: replace 
    target_label: kubernetes_namespace 
    - source_labels: [__meta_kubernetes_pod_name] 
    action: replace 
    target_label: kubernetes_pod_name 

Но я не вижу никакой информации о grafana. Нужно ли делать какие-либо изменения в моих приложениях? snapshot

Answer 1

С этой конфигурацией первое действие запрашивает, чтобы блок был аннотирован prometheus.io/scrape=true. Вы задали эту аннотацию на рассматриваемых стручках?

Answer 2

вы должны убедиться, что данные, которые используются ваши графики Графаны, действительно присутствуют в Прометее.

Я предполагаю, что вы используете это значение по умолчанию Grafana dashboard.

Ваш графана запрос может выглядеть следующим образом:

sum (container_memory_working_set_bytes{pod_name=~"^$Pod$"})/sum (machine_memory_bytes{kubernetes_io_hostname=~"^$Node$"}) * 100 

Так вы должны убедиться, что container_memory_working_set_bytes Засчитываются и что он имеет поле pod_name.

В случае, если метрика не записана, вам нужно будет сделать копание в журналах prometheus, чтобы проверить, способен ли он обходить API.

В случае, если метрика существует, но метки ошибочны, вы можете либо отрегулировать запрос в Grafana, либо добавить еще relabel_config в Prometheus. См. official documentation.

Answer 3

Имейте в виду,

есть конфигурация здесь ошибка: __meta_kubernetes_pod_namespace не существует и должен быть __meta_kubernetes_namespace

С наилучшими пожеланиями,

Барт