DevOps

Bài mở đầu series observability: phân biệt monitoring và observability, ba trụ cột metrics–logs–traces (mạnh/yếu và khi nào dùng), các phương pháp chọn tín hiệu (4 Golden Signals, RED, USE), và nền tảng SLI/SLO/SLA cùng error budget để cảnh báo có ý nghĩa.

Prometheus là gì và vì sao thành chuẩn de facto cho metrics: kiến trúc server, mô hình pull, data model time series, TSDB local, service discovery, exporters và cấu hình prometheus.yml.

PromQL từ gốc: bốn kiểu dữ liệu (instant vector, range vector, scalar, string), label matcher, toán tử số học/so sánh/logic, và điểm mấu chốt rate/irate/increase cho counter. Đi sâu aggregation với by/without, histogram_quantile() tính p95/p99 latency, các hàm predict_linear/label_replace, recording rules, cùng loạt ví dụ giám sát API ngân hàng: tỷ lệ lỗi HTTP, độ trễ p99, saturation CPU/RAM.

Bốn kiểu metric của Prometheus (Counter, Gauge, Histogram, Summary) và khi nào dùng cái nào, kèm cách histogram_quantile() tính p95/p99 phía server so với Summary tính quantile phía client. Đi sâu quy ước đặt tên và cảnh báo nổ cardinality, instrument ứng dụng Python bằng prometheus_client expose /metrics, cùng hệ sinh thái exporter: node_exporter, cAdvisor, exporter cho Postgres/Redis/Kafka, pushgateway cho batch job và blackbox exporter để probe endpoint API ngân hàng.

Grafana từ gốc tới thực chiến: kết nối nhiều data source (Prometheus, Loki, Postgres, Elasticsearch), chọn đúng loại panel (time series, stat, gauge, table, heatmap, state timeline), xây panel từ PromQL, template variables ($instance, $job) cho dashboard động, annotations đánh dấu triển khai, transformations/thresholds/màu, provisioning dashboard as-code bằng JSON, và tổ chức dashboard phân tầng theo golden signals/RED cho hệ thống ngân hàng.

Cảnh báo đúng cách cho hệ thống thanh toán ngân hàng: viết alerting rule trong Prometheus (expr PromQL, for duration, severity, annotations), vận hành Alertmanager (routing tree, grouping, inhibition, silence, receivers), nguyên tắc alert tốt (cảnh báo trên triệu chứng, actionable, tránh alert fatigue), cảnh báo theo SLO/error budget với multi-window multi-burn-rate kiểu Google, và phân biệt paging khẩn cấp với ticket không khẩn.

Bổ sung hai trụ cột còn lại bên cạnh metric: structured logging (JSON, level, request_id/trace_id để tương quan) với Grafana Loki và LogQL; distributed tracing với span/trace, context propagation, Grafana Tempo & Jaeger; OpenTelemetry như chuẩn mở thống nhất metrics/logs/traces; và cách nối ba trụ cột (exemplar, trace_id trong log) để điều tra sự cố xuyên dịch vụ trong hệ thống ngân hàng, kèm sampling head/tail.

Bài tổng kết đưa observability lên production quy mô lớn: high availability cho Prometheus (chạy song song + dedup), lưu trữ dài hạn và global view đa cụm với Thanos/Mimir/VictoriaMetrics, federation, giám sát trong Kubernetes (kube-prometheus-stack, ServiceMonitor, Operator), bảo mật và kiểm soát cardinality/chi phí, văn hoá SRE (on-call, runbook, postmortem), khép lại bằng kiến trúc observability tham chiếu và checklist triển khai cho một ngân hàng.