延迟不是平均出来的

看监控的人最容易被一个数字哄住：avg latency。它平滑，好看，能进周报。它几乎不告诉你用户撞上了什么。

上周一台机器的 p50 还在 4ms，p99 已经到 180ms。平均仍是 7ms。只看平均，会以为世界很太平。

平均把少数倒霉请求埋进多数正常请求里。尾部才是故障住的地方：一次 GC，一次吵闹的邻居，一次 ARP 刷新，一块盘在重分配。用户不会经历平均值，用户经历的是自己那一次。

我现在看板只留三个数

• p50：系统还认不认路。
• p99：倒霉的人有多倒霉。
• 超过 100ms 的请求比例：比单次尖刺更难被骗。

测的时候不要对 localhost ping。把探针放到和用户同一跳，或者至少跨过那块会排队的网卡。你在机柜里测到的 4ms，出机房可能已经是另一回事。

如果你的 SLO 是用平均值写的，那它不是 SLO，是心情。

直方图比折线诚实。折线会请你原谅，直方图会把那根长尾巴摊在桌上。摊开之后，再决定是加超时、削峰值，还是承认这条路径不该承诺那么快。

U42 · 插在最上面，因为这周还在用。