浏览量 11
HTTP 可用性告警分为探测、状态判定和通知。连续失败阈值用于过滤短暂异常,通知应保留定位故障所需的上下文。
先决定要检查哪条路径
首页探测覆盖 Nginx 到 WordPress 的请求路径。单独检查 /healthz,只覆盖了代理的健康检查入口。首页 200 也只代表这次请求成功,文章页、数据库写入和访客的外部访问仍需要各自的证据。
curl -sS --connect-timeout 3 --max-time 5 -o /dev/null \
-w 'HTTP=%{http_code} total=%{time_total}s\n' \
-H 'Host: localhost:18080' http://127.0.0.1:8080/
这里记录 HTTP 状态码和耗时。连接失败时可能看到 HTTP=000,这是 curl 没收到 HTTP 响应,排查时还要结合 stderr 和退出码。主页预期是 200,所以误跳到登录页的 302 也值得检查。容器状态、磁盘、内存和备份时间则是另外几条诊断线索。
用一组样本走一遍告警状态
博客的定时检查每五分钟运行一次,连续两次检查异常才尝试发送首次告警,持续异常时按约一小时的间隔提醒。这里的连续次数按定时检查计算,和单次探测里 curl 自己的重试是两件事。下面用 Python 压缩时间线,略去中间重复样本,只打印通知事件。
checks = [
(0, True), (5, False), (10, True),
(15, False), (20, False), (25, False),
(80, False), (85, True), (90, True),
]
consecutive_failures = 0
last_alert = None
for minute, ok in checks:
if ok:
consecutive_failures = 0
if last_alert is not None:
print(f"{minute} min: RECOVERED")
last_alert = None
else:
consecutive_failures += 1
if consecutive_failures >= 2:
if last_alert is None:
print(f"{minute} min: FIRING")
last_alert = minute
elif minute - last_alert >= 60:
print(f"{minute} min: REMINDER")
last_alert = minute
20 min: FIRING
80 min: REMINDER
85 min: RECOVERED
第 5 分钟的单次失败被第 10 分钟的成功清零。第 15 和 20 分钟连续失败才触发通知。后面的成功只发一次恢复邮件。真实脚本还会把状态留在磁盘上,并对发送尝试限频,这样定时进程退出后,下轮仍知道上轮发生了什么。本文的模拟只验证状态变化,运行时没有发邮件。
收到邮件之后,从哪一步开始?
告警邮件至少应包含目标路径、首次发现时间、最近的状态码或错误类型,以及复查的第一步。比如首页 502 就去查 Nginx 同时段的上游日志,首页正常而磁盘告警就先检查文件系统和备份占用。修完后再从相同入口复测,把结果记到故障记录里。
站内探测与博客运行在同一台服务器上。整机掉线时,探测程序也可能停掉。外部探测可从独立节点检查域名解析、TLS 和站点响应。Prometheus 可用 for 表达异常持续时间,再交给 Alertmanager 分组、去重和发送通知。for 按持续时长判断,和本文按失败次数计数的实现各有自己的触发时机。
