1
Amy 原创整理|资料核验:2026-10-31
scikit-learn 的 permutation_test_score 会置换目标y,反复计算交叉验证分数,并将它们与原始数据的分数比较。它检验的是特征与目标独立这一零假设下的表现,不是给每个输入特征排重要性。
官方p值公式为(C+1)/(n_permutations+1),C表示置换后分数大于或等于原始分数的次数。因此即使100次置换都没达到原始分数,结果也是1/101,约0.0099,并非0。
Amy的结果记录建议:一起保存原始分数、置换次数、评分方法、交叉验证方式和随机种子。小p值不等于误差已经满足实际使用要求,更不能直接解释成因果关系;大p值也可能是所用模型没有利用到关系。
有分组结构的数据,还要核对置换和交叉验证是否保留了必要的分组约束。文中的100次是公式教学示例,不是真实实验成绩。