Prometheus 是 Kubernetes 生产环境主流监控方案，通过服务发现自动适配动态架构，推荐用 prometheus-operator 快速部署，支持业务指标接入、告警规则与 Alertmanager 通知。
Prometheus 是 Kubernetes 生产环境中最主流的监控方案，它原生支持容器指标采集、多维数据模型和强大查询能力，部署和集成也相对直接。
一、Prometheus 如何适配 Kubernetes 架构
Kubernetes 动态性强，Pod 和 Service 频繁创建销毁，传统静态配置无法应对。Prometheus 通过 服务发现（Service Discovery） 自动识别目标：
- 使用
kubernetes_sd_configs配置项，对接 kube-apiserver，自动发现 Node、Pod、Service、Endpoints、Ingress 等资源 - 配合 Relabel 规则过滤无关目标（如跳过 kube-system 中非监控用途的 Pod）、重写标签（如将 Pod 的 namespace 和 pod_name 提取为 Prometheus 标签）
- 典型采集目标包括：kubelet（/metrics/cadvisor 获取容器 CPU/内存/磁盘/网络）、kube-state-metrics（集群对象状态，如 Deployment 副本数、Pod 相位）、coredns、etcd、apiserver
二、快速部署 Prometheus + Grafana 可视化
推荐使用 prometheus-operator（由 CoreOS 开发，现属 CNCF），它把 Prometheus、Alertmanager、ServiceMonitor 等封装为 Kubernetes 原生 CRD：
- 用 Helm 安装：执行
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts，再helm install kube-prometheus prometheus-community/kube-prometheus-stack - 安装后自动创建：Prometheus 实例、Alertmanager、Grafana（含预置 Kubernetes 仪表盘）、kube-state-metrics、node-exporter（采集节点级指标）
- 访问 Grafana：
kubectl port-forward svc/grafana 3000:80 -n monitoring，浏览器打开 http://localhost:3000，默认账号 admin/admin
三、自定义业务指标接入（以 Go 应用为例）
你的应用需要暴露符合 Prometheus 格式的指标端点（如 /metrics），并确保 Service 和 ServiceMonitor 正确关联：
- 在 Go 应用中引入
prometheus/client_golang，注册 Counter/Gauge/Histogram，并启动 HTTP handler 暴露指标 - 为应用创建 Service（类型 ClusterIP），并添加标签如
app: my-app - 编写
ServiceMonitorYAML，指定命名空间、选择器匹配该 Service，并设置 endpoints.port 和 interval - 验证：进入 Prometheus UI → “Status” → “Targets”，确认对应 target 状态为 UP，且有指标数据返回
四、告警规则与通知实战要点
告警不是简单阈值触发，而是结合语义和运维经验设计：
- 在 Prometheus 中定义
groups，每个 rule 包含expr（PromQL 表达式）、for（持续时间）、alert（名称）、labels（如 severity: warning/critical）和annotations（可读提示） - 示例规则：
sum by (namespace) (rate(container_cpu_usage_seconds_total{image!="",job="kubelet"}[5m])) > 0.8，表示某命名空间内容器 CPU 使用率超 80% 持续 5 分钟 - Alertmanager 负责去重、分组、静默和路由，需配置 email、企业微信或钉钉 Webhook；注意设置
global.resolve_timeout和inhibit_rules避免告警风暴
