关联规则挖掘中的支持度、置信度和提升度是什么?
简化版
关联规则挖掘从交易集合中寻找项集共现关系,核心指标是支持度、置信度和提升度。置信度会被后件基率误导,所以必须结合 lift、最小样本数、时间稳定性和业务可执行性筛选规则。
详细版
- 支持度衡量规则覆盖规模。
- 置信度是出现前件后后件出现的条件频率。
- 提升度把置信度与后件基率比较。
- Apriori 利用频繁项集的向下封闭性剪枝。
- 规则相关不代表前件导致后件。
完整版教学
一、问题定义与核心直觉
一条规则 X→Y 要求 X 与 Y 不相交。先寻找达到最小支持度的频繁项集,再从项集拆出方向规则;若直接枚举所有商品组合,候选数量会随商品数指数增长。
高 confidence 可能只因为 Y 本来就常见。lift=1 表示近似独立,大于 1 才说明正关联,但促销、门店和时间等共同原因仍可能制造伪关联。
二、机制与公式
support(X=>Y)=count(X union Y)/N
confidence=P(Y|X)
lift=P(Y|X)/P(Y)
支持度没有方向性,而 confidence 有方向性;confidence(X→Y) 与 confidence(Y→X) 的分母分别是 support(X) 与 support(Y)。lift 再除以后件基率,因此能识别“高置信度只是因为 Y 本来就常见”的情况。
三、带数字的推演
10,000 个订单中,咖啡 2,000 单、牛奶 5,000 单、两者同时 1,500 单。规则“咖啡→牛奶”的支持度 15%,置信度 75%,提升度 0.75/0.5=1.5,覆盖可观且高于牛奶基率。
若把方向反过来,confidence(牛奶→咖啡)=1500/5000=30%,但 lift 仍为 0.30/0.20=1.5。这说明同一项集的双向规则支持度和 lift 相同,置信度却通常不同。
四、方案对比
| 方案 | 优势 | 代价或边界 |
|---|---|---|
| Apriori | 剪枝逻辑清楚 | 多轮扫描、候选多 |
| FP-Growth | 避免显式枚举候选 | 树构建与解释较复杂 |
| 监督 uplift | 更接近增量因果效果 | 需要实验或处理标签 |
五、工程执行流程
统一交易窗口与商品层级 -> 删除退款/测试单 -> 挖频繁项集 -> 生成双向规则
-> 按 support/lift/样本数过滤 -> 分门店和月份复验 -> A/B 测试陈列或推荐
筛选出的规则仍只是观察相关。只有当规则要驱动陈列、优惠或推荐时,才通过随机实验评估增量购买、毛利和互相蚕食,避免把共同促销造成的共现误判成因果作用。
六、边界条件与上线代价
把一次长订单拆分或合并会改变所有指标,因此“购物篮”的时间窗口与主体键必须在结果旁明确记录。
海量规则存在多重比较问题;应限制搜索空间、保留留出期,并把真正影响用户的动作交给随机实验验证。
关键判断:支持度看“有多少”,置信度看“给定 X 后 Y 多常见”,提升度看“比 Y 的基率高多少”。
七、常见误区与追问
-
误区:置信度高就代表强关联。 后件基率很高时置信度自然很高。
-
追问:为什么需要最小支持度? 它控制统计可靠性并减少候选爆炸。
-
误区:X→Y 与 Y→X 指标相同。 支持度相同,但条件概率通常不同。
-
追问:lift 大于 1 能证明因果吗? 不能,它只描述观察共现。
-
追问:规则太多怎么办? 按覆盖、提升、稳定性和可执行动作分层筛选。
八、加强记忆
支持度看“有多少”,置信度看“给定 X 后 Y 多常见”,提升度看“比 Y 的基率高多少”。最后一定补充:共现规则需要跨时间验证,业务动作要靠实验确认。