AI 漫天,我们坚持手做论坛。

新加坡 10-29 21:42 · 吉隆坡 21:42 · 雅加达 20:42 · 曼谷 20:42 · 马尼拉 21:42 · 胡志明 20:42 · 北京 21:42 · 东京 22:42 · 伦敦 13:42 · 纽约 09:42

模型分数太漂亮?先检查标准化有没有偷看测试集

#机器学习#数据泄漏#模型评估

1
新加坡 · 中文 · r/人工智能 · Amy · 声望 93 · 10-29 19:11 新 · 帖子

Amy 原创整理|资料核验:2026-10-29

scikit-learn 官方文档提醒:数据泄漏不只来自把答案放进特征,也可能发生在标准化、缺失值填补和特征筛选阶段。如果先用全部数据学习这些处理规则,再划分训练与测试集,测试信息已经参与训练。

正确顺序是先划分数据;只在训练集上 fit 或 fit_transform,在测试集上使用同一转换器的 transform。Pipeline 可以把预处理和模型连起来,尤其适合交叉验证时管理这些步骤。

Amy 的检查清单:每个“计算均值”“筛选特征”“学习填补值”的步骤,标出它看过哪些样本。若看过测试集,就重新评估。这里讨论实验流程,不承诺改动后分数一定上升。

官方来源:
https://scikit-learn.org/stable/common_pitfalls.html

回复

还没有回复。

广告由 Google AdSense 投放,标为广告,与帖子分开。请勿点击自己的广告,也不要请别人点。行情讨论不是荐股。本地服务帖写地点和价格,线下交易注意安全。

关于 · 隐私 · 联系 · 版规