聚类稳定性如何评估？

简化版

聚类稳定性衡量数据扰动、初始化或时间变化后，分群结构能否复现。不能直接比较簇编号，应先做最佳匹配或使用 ARI、NMI 等置换不变指标，并同时检查簇级规模与画像是否稳定。

详细版

• 随机种子稳定性只覆盖优化随机性。
• bootstrap 可检验样本扰动敏感度。
• ARI 校正随机一致，且不受标签置换影响。
• 跨时间稳定性还混合真实人群漂移。
• 整体指标可能掩盖小簇崩溃。

完整版教学

一、问题定义与核心直觉

稳定性评估先固定预处理和超参数，再重复抽样训练，将两个结果投影到共同样本上比较。若每次都在不同样本上只对簇中心排序，会把中心交换误判成结构变化。

高稳定不一定代表有用：一个把所有样本归为一簇的方案极其稳定。需要把稳定性与分离度、簇大小约束、可解释画像和业务效益共同评价。

二、机制与公式

ARI=(RI-expected_RI)/(max_RI-expected_RI)
report mean, quantiles and per-cluster Jaccard

ARI 比较共同样本上的两种完整划分，并自动忽略簇编号置换；逐簇 Jaccard 则需要先匹配簇。Bootstrap 会出现重复与未抽中样本，算法若没有 predict 接口，需在共同入样点上比较或设计一致的样本外归属规则。

三、带数字的推演

对 20 次 80% 重采样聚类，ARI 中位数 0.82、10 分位数 0.61；大簇 Jaccard 为 0.9，但占比 3% 的小簇仅 0.35。只报平均 ARI 会掩盖小簇不可复现。

这组结果表示总体结构较稳但小簇不可靠，不能用 0.82 的中位 ARI 为小簇背书。跨时间 ARI 下降还可能来自真实人群变化，应结合特征分布、簇画像和业务事件区分模型不稳与概念漂移。

四、方案对比

方案	优势	代价或边界
多随机种子	成本低	只测初始化
Bootstrap	测样本扰动	需处理未抽中样本
跨期回放	最贴近上线	混合概念漂移

五、工程执行流程

确定参考方案 -> 多种子与重采样训练 -> 在共同样本预测 -> 置换不变比较
-> 匹配簇后算逐簇 Jaccard -> 跨期复验画像 -> 记录不稳定样本

验收时同时设全局与逐簇门槛，例如报告 ARI 分位数、每簇成员 Jaccard、规模波动和中心漂移；小而高风险的簇不能被大簇主导的平均分掩盖。

六、边界条件与上线代价

密度聚类会产生噪声点，比较时要明确噪声是单一标签还是排除；不同处理会显著改变一致性指标。

若业务需要长期固定客群，可训练归属模型或冻结中心；但这评估的是旧簇可延续性，不应掩盖真实结构变化。

关键判断：稳定性记成“三扰动、两层结果”：扰动初始化、样本和时间；结果既看整体 ARI/NMI，也看逐簇规模、Jaccard 与画像。

七、常见误区与追问

• 误区：两次 cluster id 不同就是不稳定。 编号可任意置换，应比较样本对关系。

• 追问：ARI 为 0 表示什么？ 一致程度接近随机基线，不是完全无共同点。

• 误区：只换随机种子已足够。 还需测试样本扰动和时间漂移。

• 追问：为什么看逐簇指标？ 小而关键的簇可能被总体均值掩盖。

• 追问：越稳定越好吗？ 还必须满足分离、解释和业务价值。

八、加强记忆

加强记忆要同时扰动初始化、训练样本与时间窗口，并从全局和局部两层检查结果。全局用 ARI/NMI 衡量划分一致性，局部跟踪每簇规模、成员重合和画像；即使都稳定，也还要单独验证业务可解释性与下游价值。