Observability & Analysis on Learning Notes

Prometheus

Mon, 01 Jan 0001 00:00:00 +0000

Prometheus Notes #

This is my learning Notes for Prometheus

Docs, Github

Prometheus Course (LFS241), PromLabs, Robust Perception

awesome-prometheus

Introduction to Observability #

可观测性（Observability）的三大支柱：

Pillar	描述	代表项目
Metrics（指标）	数值型时序数据，反映系统运行状态	Prometheus
Logging（日志）	离散事件记录，用于事后追溯	Loki, Fluentd, ELK
Tracing（追踪）	请求在分布式系统中的完整调用链	Jaeger, Zipkin, Tempo

监控（Monitoring）回答"系统是否正常"，可观测性（Observability）回答"为什么不正常"——能否从外部输出推断系统内部状态。Prometheus 专注于 Metrics 维度。

Architecture #

核心组件：

Component	作用
Prometheus Server	核心服务，负责抓取、存储、查询时序数据
Exporters / Jobs	将现有系统/服务的指标暴露为 Prometheus 格式
Pushgateway	短生命周期任务推送指标的中间层（Prometheus 仍以 pull 拉取）
Alertmanager	处理告警：去重、分组、路由到接收器（Email/Slack/PagerDuty）
Service Discovery	动态发现监控目标（Kubernetes, Consul, EC2 等）

┌─────────────────────────────────────────────────────────────┐
│ Prometheus Server │
│ ┌───────────┐ ┌───────────┐ ┌───────────┐ ┌──────────┐ │
│ │ Retrieval │→ │ TSDB │→ │ HTTP │ │ Alert │ │
│ │ (Pull) │ │ (Storage) │ │ Server │ │ Manager │ │
│ └─────┬─────┘ └───────────┘ └──────────┘ └────┬─────┘ │
│ │ │ │
└────────┼────────────────────────────────────────────┼───────┘
 │ │
 ┌────▼──────────────────────┐ ┌────▼──────┐
 │ Service Discovery │ │ Alert │
 │ Kubernetes / Consul / EC2│ │ Manager │
 └────┬──────────────────────┘ └────┬──────┘
 │ │
 ┌────▼────────────────────┐ ┌─────▼─────┐
 │ Targets (Exporters) │ │ Pager │
 │ node_exporter / app │ │ Email │
 └─────────────────────────┘ │ Slack │
 └───────────┘
 ┌──────────────────┐
 │ Pushgateway │ ← short-lived jobs push metrics here
 └────────┬─────────┘
 │ (Prometheus still pulls from Pushgateway)

Prometheus 核心设计：Pull 模型——Prometheus 主动从目标 HTTP 端点（默认 /metrics）拉取指标，而非被动等待推送。

Prometheus Exam

Mon, 01 Jan 0001 00:00:00 +0000

Prometheus Certified Associate (PCA) Exam Notes #

This is my learning notes for the PCA certification & free practice resources

CNCF PCA, Linux Foundation

Exam Overview #

The Prometheus Certified Associate (PCA) is an entry-level certification offered by the CNCF / Linux Foundation. It validates foundational knowledge of observability and skills using Prometheus.

Item	Detail
颁发机构	CNCF / Linux Foundation
费用	$250 USD（含 1 次免费补考）
题型	60 道选择题，在线远程监考
时长	90 分钟
及格线	70%
难度	入门级（Entry-level），无需先决证书
适合人群	SRE、DevOps Engineer、Developer，Kubernetes/微服务从业者

没有完全免费的 Prometheus 证书。 PCA 是唯一官方认证，但备考资源大多免费，且 CNCF 经常提供折扣码。

Thanos

Mon, 01 Jan 0001 00:00:00 +0000

Thanos Notes #

This is my learning Notes for Thanos — Highly Available Prometheus with Long-Term Storage

Docs, Github

Killercoda Tutorial, CNCF Landscape

Thanos 是一个 CNCF Incubating 项目，在现有 Prometheus 之上提供全局查询视图、无限存储保留和高可用性，无需替换 Prometheus。

Why Thanos? — Prometheus 的局限性 #

原生 Prometheus 是单机架构，存在以下限制：

局限	说明	Thanos 解决方案
单点故障	一个 Prometheus 挂了 = 该区域失去监控	HA 对 + 去重
存储有限	本地磁盘，retention 到期即删除	Object Storage 无限保留
无法全局查询	每个 Prometheus 各自独立	Querier 全局聚合
扩展困难	垂直扩展有天花板	Receive 水平扩展 / 分片
历史数据查询慢	本地 TSDB 数据量大时性能下降	Compactor 降采样（Downsampling）

单 Prometheus 的天花板：
 ┌──────────────────────────────┐
 │ 单个 Prometheus │
 │ • 本地磁盘 → 有限 retention │
 │ • 单点 → 无 HA │
 │ • 无法跨集群查询 │
 └──────────────────────────────┘

Thanos 的解决方式：
 ┌──────────────┐ ┌──────────────┐
 │ Prometheus A │ │ Prometheus B │ ← 多集群各自采集
 │ + Sidecar │ │ + Sidecar │
 └──────┬───────┘ └──────┬───────┘
 │ 上传 Block │
 ▼ ▼
 ┌──────────────────────────────┐
 │ Object Storage │ ← 无限保留、低成本
 │ (S3 / GCS / Azure / MinIO) │
 └──────────────┬───────────────┘
 │
 ┌───────▼───────┐
 │ Thanos Query │ ← 全局统一查询入口
 └───────────────┘

Architecture #

Thanos 遵循 UNIX 哲学：每个组件做一件事，通过 gRPC Store API 协作。