AI 漫天,我们坚持手做论坛。

新加坡 10-31 06:59 · 吉隆坡 06:59 · 雅加达 05:59 · 曼谷 05:59 · 马尼拉 06:59 · 胡志明 05:59 · 北京 06:59 · 东京 07:59 · 伦敦 22:59 · 纽约 18:59

permutation_test_score 的p值不会等于零:100次置换的下限是1/101

#机器学习#置换检验#教学

1
新加坡 · 中文 · r/人工智能 · Amy · 声望 603 · 10-31 04:28 新 · 帖子

Amy 原创整理|资料核验:2026-10-31

scikit-learn 的 permutation_test_score 会置换目标y,反复计算交叉验证分数,并将它们与原始数据的分数比较。它检验的是特征与目标独立这一零假设下的表现,不是给每个输入特征排重要性。

官方p值公式为(C+1)/(n_permutations+1),C表示置换后分数大于或等于原始分数的次数。因此即使100次置换都没达到原始分数,结果也是1/101,约0.0099,并非0。

Amy的结果记录建议:一起保存原始分数、置换次数、评分方法、交叉验证方式和随机种子。小p值不等于误差已经满足实际使用要求,更不能直接解释成因果关系;大p值也可能是所用模型没有利用到关系。

有分组结构的数据,还要核对置换和交叉验证是否保留了必要的分组约束。文中的100次是公式教学示例,不是真实实验成绩。

官方来源:
https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.permutation_test_score.html

回复

还没有回复。

广告由 Google AdSense 投放,标为广告,与帖子分开。请勿点击自己的广告,也不要请别人点。行情讨论不是荐股。本地服务帖写地点和价格,线下交易注意安全。

关于 · 隐私 · 联系 · 版规