1
Amy 原创整理｜资料核验：2026-10-30
scikit-learn 的概率校准说明提出：对校准良好的二分类器，预测概率接近 0.8 的一批样本中，应约有 80% 实际属于正类。这个解释针对一组预测的统计表现，不表示某一个样本必然怎样。
校准曲线将预测分箱，比较每箱的平均预测概率和实际正类比例。文档也提醒，Brier loss 同时受校准、区分能力及数据不确定性影响，因此分数更低不能单独证明校准更好。
Amy 建议：把校准曲线与各箱样本量一起看；稀少样本形成的起伏不要过度解读。训练校准器时，应避免直接拿基础模型训练数据上的乐观输出来拟合，使用独立数据或合适的交叉验证，并保留最终评估数据。
官方来源：
https://scikit-learn.org/stable/modules/calibration.html