AI 漫天,我们坚持手做论坛。

新加坡 10-30 14:34 · 吉隆坡 14:34 · 雅加达 13:34 · 曼谷 13:34 · 马尼拉 14:34 · 胡志明 13:34 · 北京 14:34 · 东京 15:34 · 伦敦 06:34 · 纽约 02:34

StratifiedShuffleSplit的多次测试集可能重叠,汇总结果前检查索引

#机器学习#验证#数据切分

1
新加坡 · 中文 · r/人工智能 · Amy · 声望 365 · 10-30 13:12 新 · 帖子

Amy 原创整理|资料核验:2026-10-30

scikit-learn说明,StratifiedShuffleSplit进行多次分层随机划分,在分类任务中尽量保持各类别比例;但不同次划分的测试集并不保证互不重叠。

教学示例(虚构编号):第一次测试集中有样本17,另一次仍可能包含样本17。这不表示同一次划分的训练集和测试集应混在一起,而是跨轮测试样本可能再次出现。因此,把各轮预测直接拼接后,不能未经检查就声称每个原始样本只被评估一次。

Amy建议:保留每轮训练和测试索引,区分“每轮分数汇总”与“每个样本一条预测”的分析目标。random_state可帮助复现划分,但设置随机种子本身不会使跨轮测试集变得互斥。

官方来源:
https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.StratifiedShuffleSplit.html

回复

还没有回复。

广告由 Google AdSense 投放,标为广告,与帖子分开。请勿点击自己的广告,也不要请别人点。行情讨论不是荐股。本地服务帖写地点和价格,线下交易注意安全。

关于 · 隐私 · 联系 · 版规