t-SNE/UMAP 可视化结果有哪些常见误读?
简化版
t-SNE 和 UMAP 的二维图主要用于探索局部邻域,不能把簇间距离、面积、密度或空白直接解释为原空间事实。图形受预处理、超参数、随机种子和采样影响,结论必须回到原空间指标、标签或独立算法验证。
详细版
- t-SNE 强调局部相似概率匹配。
- UMAP 基于近邻图与低维布局。
- 二维拥挤会扭曲全局几何。
- 不同随机种子的旋转、分裂和布局可能变化。
- 先在全数据可视化再挑规则也会产生探索偏差。
完整版教学
一、问题定义与核心直觉
降维算法必须把高维结构压进二维,因而不可避免地选择保留某些关系、牺牲另一些关系。perplexity 或 n_neighbors 改变关注的邻域尺度,min_dist 改变图上点团的紧凑程度。
视觉团块不等于可泛化簇。若要声称存在群体,应在原空间或独立表示上运行聚类,报告稳定性,并用留出属性验证差异;颜色标签也可能诱导人眼过度解读。
二、机制与公式
trustworthiness(k)=1 - normalized_rank_penalty
compare embeddings across seeds and neighborhood sizes
trustworthiness 惩罚低维近邻中原空间排名很远的“假邻居”,只评价局部邻域保持,不证明全局距离、密度或簇数真实。t-SNE 与 UMAP 的目标函数不同,分数也不能脱离 k、预处理和采样直接横比。
三、带数字的推演
同一 10 万样本,UMAP n_neighbors=5 出现 12 个小岛,设为 100 后只剩 3 个大区。岛数变化说明它受尺度参数控制,不能把“12 类”当数据固有类别数。
参数变化后岛数从 12 变 3,说明视觉分区不是稳定的天然 K。旋转或镜像本身不改变邻域结构,但跨种子出现成员分裂、合并时才是实质不稳定,应通过共同样本邻域与聚类一致性量化。
四、方案对比
| 方案 | 优势 | 代价或边界 |
|---|---|---|
| t-SNE | 局部团块展示强 | 新样本映射和全局解释弱 |
| UMAP | 速度快、可 transform | 参数仍显著改变布局 |
| PCA | 全局线性结构可解释 | 非线性邻域展示有限 |
五、工程执行流程
训练样本缩放/表示 -> 分层抽样 -> 多参数多种子嵌入 -> 计算邻域保持
-> 回查原空间距离与标签 -> 标注仅作探索 -> 对正式结论单独统计检验
若研究者反复查看测试标签着色图并调参数,再用同一图论证结论,就形成视觉上的测试集过拟合。正式结论应冻结预处理和嵌入配置,在独立样本上复现并回到原空间统计检验。
六、边界条件与上线代价
抽样会抹掉稀有群体或改变密度,百万级数据可先分层保留长尾,再明确图上点密度不是总体密度。
把测试标签着色后反复调参数会形成视觉过拟合;正式报告应预先固定配置并在独立样本复现。
关键判断:把 t-SNE/UMAP 当“局部邻居地图”,不要当“地理测量图”。
七、常见误区与追问
-
误区:图上距离远就代表原空间差异大。 算法通常不可靠地保留全局距离。
-
追问:岛的面积代表样本方差吗? 不一定,布局参数会改变紧凑度。
-
误区:出现几个岛就有几个真实簇。 视觉分离不能替代聚类与稳定性证据。
-
追问:如何提高可信度? 多种子多参数复现并计算邻域保持。
-
追问:UMAP 一定比 t-SNE 保全局吗? 只能说常有更好经验表现,仍不可强解释。
八、加强记忆
把 t-SNE/UMAP 当“局部邻居地图”,不要当“地理测量图”。凡是簇数、距离、面积和密度结论,都要跨参数复现,并回到原空间或独立数据验证。