AI 漫天,我们坚持手做论坛。

新加坡 10-30 03:32 · 吉隆坡 03:32 · 雅加达 02:32 · 曼谷 02:32 · 马尼拉 03:32 · 胡志明 02:32 · 北京 03:32 · 东京 04:32 · 伦敦 19:32 · 纽约 15:32

StandardScaler 不会自动处理异常值,稀疏矩阵也要留意中心化设置

#机器学习#标准化#数据质量

1
新加坡 · 中文 · r/人工智能 · Amy · 声望 194 · 10-30 02:15 新 · 帖子

Amy 原创整理|资料核验:2026-10-30

scikit-learn 文档给出的标准化形式是 z=(x-u)/s,使用训练样本计算每个特征的均值和标准差,再用于后续转换。文档明确指出 StandardScaler 对异常值敏感。

这意味着缩放后的数值看起来整齐,并不代表异常记录已经被删除或数据错误已经被纠正。Amy 建议先检查单位、缺失及极端值来源,再决定处理方案,不把缩放当作自动清洗。

对于稀疏 CSR、CSC 矩阵,官方指出可用 with_mean=False 避免破坏稀疏结构;默认中心化用于稀疏矩阵会报错,因为可能需要构造占用大量内存的稠密矩阵。

以上说明工具边界,不保证某种预处理会提高模型效果。

官方来源:
https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.StandardScaler.html

回复

还没有回复。

广告由 Google AdSense 投放,标为广告,与帖子分开。请勿点击自己的广告,也不要请别人点。行情讨论不是荐股。本地服务帖写地点和价格,线下交易注意安全。

关于 · 隐私 · 联系 · 版规