分布式 ID 服务应该监控哪些指标？
简化版
ID 服务既要监控可用性，也要监控唯一性风险：发号 QPS/P99/错误率、号段剩余与预取失败、WorkerId 租约冲突、时钟偏差与回拨、序列耗尽、数据库分配延迟和重复 ID。 告警应能提前回答“还能发多久”，而不是等号段耗尽或主键冲突后才发现。
详细版
通用 RED 指标按业务 key、实例、机房和算法拆分。号段模式增加当前/下一 buffer 剩余比例、消耗速度、DB CAS 冲突和预取耗时；Snowflake 增加 lastTimestamp、clockOffset、rollback、sequence usage、WorkerId/lease epoch。
容量告警使用 time_to_exhaust = remaining / recent_rate。例如剩余 60 万、峰值 2 万/s，只有 30 秒，若数据库恢复目标 60 秒已不安全。唯一约束冲突、重复采样或两个实例持有同 WorkerId 都是最高等级告警。
完整版教学
一、ID 服务的故障有两种性质
“发不出来”表现为错误和延迟，容易被发现；“发出了重复 ID”可能先污染业务，后果更严重。因此监控必须同时覆盖服务质量和安全不变量。只画 QPS、CPU 的看板无法证明 ID 正确。
记忆钩子：ID 监控一半看“发得快不快”，另一半看“发得会不会撞”。
二、通用 RED 与容量
| 指标 | 维度 | 作用 |
|---|---|---|
| request rate | service/key/region | 负载与容量 |
| error rate | reason/algorithm | 可用性 |
| P50/P95/P99 | phase | 尾延迟 |
| issued count | instance/worker | 对账 |
| time-to-exhaust | segment/key | 提前预警 |
延迟要拆本地发号、号段申请和租约续期。平均延迟很低但切段 P99 为 2 秒，同样会影响创建链路。
三、号段模式的专属指标
记录 current segment 使用率、next segment 是否 ready、申请次数/失败、数据库更新耗时、步长与浪费量。双 buffer 应在当前段剩余 10%～20% 时预取；若下一段长期未就绪，按耗尽时间告警。
remaining = maxId - currentId
timeToExhaust = remaining / peakRate
600000 / 20000 per second = 30sCAS 失败突然增加可能是多个实例争抢同一业务 key，也可能数据库主备异常。
四、Snowflake 的专属指标
每实例暴露 WorkerId、lease epoch、租约剩余、当前毫秒序列、高水位时间戳、系统时钟与可信时间源偏差。now < lastTimestamp 立即记录回拨量和处理动作；同一 WorkerId 被两个实例报告是 P0 风险。
12 位序列每毫秒可提供 4096 个取值（0～4095），因此要监控最大 sequence 和等待下一毫秒次数。频繁用到 4095 并等待下一毫秒，说明容量不足或时钟停滞，不能只靠忙等掩盖。
五、如何监控“重复”
数据库主键/唯一索引冲突是最后一道强信号，要与业务合法冲突区分。可在日志流对 (id, producer) 做时间窗去重抽样，或对各实例发号区间审计；全量存储所有 ID 可能成本过高，但核心业务可依赖唯一约束。
若发现一次重复，不能只重试生成新 ID，因为之前哪个对象已使用该 ID 需要调查。应冻结可疑 worker/号段，保留 epoch、时间戳和实例证据。
六、看板、告警与演练
告警分层：time-to-exhaust 小于 DB RTO 是提前告警；预取连续失败是高危；重复、WorkerId 冲突和时间倒退未受控是最高级。低流量 key 还要监控“多久未成功申请”，避免比例指标失真。
演练数据库中断、号段快速耗尽、租约服务分区、NTP 跳变和实例镜像克隆。看板需要能按 region、worker、biz key 关联问题，同时避免把具体订单 ID 作为高基数指标标签。
七、常见误区与追问
- 误区：ID 接口成功率 100% 就说明健康。 可能正在返回重复或时间倒退的 ID。
- 误区：号段剩余比例足够就安全。 高峰速率不同，应计算预计耗尽时间。
- 误区：WorkerId 冲突等数据库报错再处理。 应从租约和实例报告提前发现。
- 误区：把每个 ID 放进指标标签方便追踪。 会产生极高基数，单值应进日志。
- 追问：最关键告警是什么？ 重复风险最高，其次是即将耗尽和中心分配不可用。
- 追问：怎样监控时钟？ 比较可信时间源、记录 lastTimestamp 与回拨幅度，并观察 NTP 状态。
- 追问：号段浪费要告警吗？ 要看成本与审计，但空洞通常比重复安全，优先级较低。
八、加强记忆
ID 监控按“RED、余量、中心、时钟、Worker、重复”展开。号段看双 buffer 和还能发多久，Snowflake 看租约、时间和序列，所有算法都把重复风险放最高级。用故障演练证明告警能在耗尽和碰撞前触发。