مراقبة Kubernetes مع kube-prometheus-stack خطوة بخطوة

الـ chart ينشر نحو 25 موردًا: Prometheus، Alertmanager، Grafana، DaemonSet node-exporter، kube-state-metrics، مُشَغِّل Prometheus، إضافة إلى عشرين ServiceMonitor وPrometheusRule جاهزة. تحقّق بـ kubectl get pods -n monitoring.

الخطوة 3 — الوصول إلى Grafana واستكشاف اللوحات المُسَلَّمة

kubectl -n monitoring port-forward svc/kube-prometheus-stack-grafana 3000:80 &
# افتح http://localhost:3000
# Login: admin
# Password: ChangeMeQuickly (غيِّرها فور الدخول)

في أوّل تسجيل دخول، نكتشف نحو ثلاثين لوحة مُهَيَّأة سلفًا في الشريط الجانبي الأيسر: Kubernetes / Compute Resources / Cluster، Kubernetes / Networking / Cluster، Node Exporter / Nodes، Kubernetes / API server وأخرى. رؤية رسوم مأهولة ببيانات حقيقية يُؤكِّد أنّ Prometheus يحصد المُصدِّرات وأنّ Grafana يقرأ datasource Prometheus المُهَيَّأ افتراضيًّا.

الخطوة 4 — التحقّق من ServiceMonitor لـ Cilium وRook

المكوّنات المُثَبَّتة في الأدلّة السابقة (Cilium، Rook-Ceph) تكشف مقاييس Prometheus. مُشَغِّل Prometheus يكتشفها تلقائيًّا عبر ServiceMonitor، شريطة وجودها.

kubectl get servicemonitor -A
# يجب إدراج cilium، hubble، rook-ceph-mgr، rook-ceph-exporter

# إن كان مفقودًا، فعِّله في Helm Cilium:
# helm upgrade cilium ... --set prometheus.enabled=true \
#   --set operator.prometheus.enabled=true \
#   --set hubble.metrics.enabled="{dns,drop,tcp,flow,icmp,http}"

رؤية ServiceMonitor يُتيح فتح لوحات خاصّة في Grafana (Cilium ID 16611، Ceph Cluster ID 2842). نحصل على رؤية مفصَّلة لإنتاجية eBPF لكلّ عقدة، عدد كائنات Ceph لكلّ pool، الـ PGs في طور التوضع.

الخطوة 5 — كتابة أوّل قاعدة تنبيه مخصَّصة

apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: app-error-rate
  namespace: monitoring
  labels:
    release: kube-prometheus-stack
spec:
  groups:
  - name: app.errors
    rules:
    - alert: HighErrorRate
      expr: |
        sum(rate(http_requests_total{status=~"5.."}[5m])) by (service)
        / sum(rate(http_requests_total[5m])) by (service) > 0.05
      for: 5m
      labels:
        severity: warning
      annotations:
        summary: "Service {{ $labels.service }} returns >5% errors"
        description: "Error rate is {{ $value | humanizePercentage }} over 5 minutes"

kubectl apply -f app-error-rate.yaml

# تحقّق من تحميل القاعدة
kubectl -n monitoring exec -it kube-prometheus-stack-prometheus-0 \
  -c prometheus -- promtool check rules /etc/prometheus/rules/*.yaml | head

قاعدة تظهر في واجهة Prometheus (Status ← Rules) تُؤكِّد دمج مُشَغِّل Prometheus لها. اللصاقة release: kube-prometheus-stack أساسية: تُعلن القاعدة لـ Prometheus الرئيسي، دونها يُتجاهَل المنفست بصمت.

الخطوة 6 — تهيئة Alertmanager لتنبيه القنوات الصحيحة

apiVersion: v1
kind: Secret
metadata:
  name: alertmanager-kube-prometheus-stack-alertmanager
  namespace: monitoring
stringData:
  alertmanager.yaml: |
    route:
      receiver: discord
      group_by: ['alertname', 'severity']
      group_wait: 30s
      group_interval: 5m
      repeat_interval: 4h
      routes:
      - match:
          severity: critical
        receiver: discord
        repeat_interval: 30m
    receivers:
    - name: discord
      webhook_configs:
      - url: https://discord.com/api/webhooks/...
        send_resolved: true

بعد kubectl apply، Alertmanager يُعيد تحميل إعداده في ثوانٍ (المُشَغِّل يُراقب الـ Secret). التنبيهات الحرجة تصل كلّ 30 دقيقة، التنبيهات warning كلّ 4 ساعات، ممّا يتفادى الرشقات ويُبقي إشارة حيّة.

الخطوة 7 — كشف Grafana عبر Ingress مع TLS

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: grafana
  namespace: monitoring
  annotations:
    cert-manager.io/cluster-issuer: letsencrypt-prod-dns
spec:
  ingressClassName: cilium
  tls:
  - hosts:
    - grafana.exemple.lan
    secretName: grafana-tls
  rules:
  - host: grafana.exemple.lan
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: kube-prometheus-stack-grafana
            port:
              number: 80

بعد إصدار الشهادة (مرئية بـ kubectl get certificate -n monitoring)، Grafana يستجيب HTTPS على الـ URL المختار. نفس الآلية تنطبق على المكوّنات الأخرى (Argo CD، Hubble UI، dashboard Ceph)، ممّا يُوَحِّد منصّة متماسكة.

الخطوة 8 — التحقّق من جمع المقاييس التطبيقية

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: myapp
  namespace: demo
  labels:
    release: kube-prometheus-stack
spec:
  selector:
    matchLabels:
      app: myapp
  endpoints:
  - port: metrics
    interval: 30s
    path: /metrics

kubectl apply -f myapp-servicemonitor.yaml
# واجهة Prometheus: Status ← Targets
# myapp يجب أن يظهر بحالة UP

رؤية target بحالة UP في Prometheus يُؤكِّد أنّ المقاييس التطبيقية تُحصد كلّ 30 ثانية. تصير فورًا قابلة للاستعلام بـ PromQL واستعمالها في لوحات Grafana أو قواعد تنبيه.

الخطوة 9 — التحقّق من الاحتفاظ واستهلاك القرص

kubectl -n monitoring exec kube-prometheus-stack-prometheus-0 -c prometheus \
  -- du -sh /prometheus
# يجب عرض حجم ينمو ثم يستقرّ بين 25 و30 جيغا

# إن اقترب الاستهلاك من السقف، وسِّع PVC
kubectl -n monitoring patch pvc \
  prometheus-kube-prometheus-stack-prometheus-db-prometheus-kube-prometheus-stack-prometheus-0 \
  --patch '{"spec":{"resources":{"requests":{"storage":"100Gi"}}}}'

الـ PVC قابل للتوسيع لأنّ allowVolumeExpansion: true مُعَرَّف على StorageClass Rook-Ceph. التوسيع online، دون انقطاع. لاحتفاظ طويل (سنة من المقاييس)، خَطِّط لـ Thanos أو VictoriaMetrics الذين يُصدِّرون الكتل إلى objectstore S3 (bucket Rook المُنشَأ في الدليل السابق يفي بالغرض).

أخطاء شائعة وحلولها

لاستكمال المسار

الرصد في مكانه: مقاييس مجموعة، لوحات مقروءة، تنبيهات. اللبنة الأخيرة هي النسخ الاحتياطي: دون Velero، يمكن لخطأ تشغيل أن يُدمّر أسابيع من العمل. دليل نسخ احتياطي Kubernetes مع Velero يُفَصِّل النسخ المُجَدوَلة إلى bucket S3 Ceph وإجراء الاستعادة المُختَبَر. للنظرة العامّة، عُد إلى الدليل الرئيسي.

مصادر وتوثيق رسمي

• kube-prometheus-stack chart: github.com/prometheus-community/helm-charts
• توثيق Prometheus: prometheus.io/docs
• توثيق Grafana: grafana.com/docs/grafana
• توثيق Alertmanager: prometheus.io/docs/alerting
• مواصفات PrometheusRule: prometheus-operator.dev/api
• مواصفات ServiceMonitor: prometheus-operator.dev/design

الخطوة 10 — تنسيق قيم Helm في Argo CD

ملف values.yaml الذي يقود التثبيت بأهمّية المنفستات المُولَّدة. فقدانه يعني إعادة تذكّر الخيارات المختارة. الممارسة الموصى بها التزامه في مستودع GitOps وترك Argo CD يقود نشر kube-prometheus-stack عبر Application Helm.

mkdir -p clusters/homelab/infra/kube-prometheus-stack
cp values.yaml clusters/homelab/infra/kube-prometheus-stack/values.yaml

cat > clusters/homelab/infra/kube-prometheus-stack/application.yaml <

apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: velero-backup-health
  namespace: monitoring
  labels:
    release: kube-prometheus-stack
spec:
  groups:
  - name: velero
    rules:
    - alert: VeleroBackupFailed
      expr: velero_backup_failure_total > 0
      for: 10m
      labels:
        severity: critical
    - alert: VeleroBackupTooOld
      expr: time() - velero_backup_last_successful_timestamp > 93600
      for: 30m
      labels:
        severity: critical