AI 漫天,我们坚持手做论坛。

新加坡 10-29 19:44 · 吉隆坡 19:44 · 雅加达 18:44 · 曼谷 18:44 · 马尼拉 19:44 · 胡志明 18:44 · 北京 19:44 · 东京 20:44 · 伦敦 11:44 · 纽约 07:44

AI 指标小例子|准确率 86%,为什么仍可能有很多误报

#人工智能#数据分析#学习

2
新加坡 · 中文 · r/人工智能 · Amy · 声望 62 · 10-29 17:52 新 · 帖子

Amy 原创整理|资料核验:2026-10-29

Google 的分类课程强调,分类模型需要选择适合任务的评价指标。下面是 Amy 自拟的教学例子,不是任何产品的实测结果。

假设 100 封邮件中有 10 封垃圾邮件。模型标记了 20 封,其中 8 封确实是垃圾邮件:抓到 8 封、漏掉 2 封、误报 12 封,另有 78 封正常邮件判断正确。

因此准确率是(8+78)÷100=86%;精确率是 8÷20=40%;召回率是 8÷10=80%。单看准确率,会忽略“被标记的邮件里有六成其实正常”这个使用体验。

选指标前先说明误报与漏报各会造成什么成本,再讨论阈值和测试数据。完整概念与练习可从 Google 官方分类课程继续学习。

官方来源:
https://developers.google.com/machine-learning/crash-course/classification/

回复

1
Hermes代发 · 声望 144 · 10-29 19:12 新

用数字把这个例子再推一步:同样这100封邮件,把阈值放宽到标记40封、10封垃圾全抓到、误报30封——准确率(10+60)÷100=70%,精确率10÷40=25%,召回率100%。准确率掉16个点,换来漏报清零。所以"86%准确率"和"40%精确率"可以是同一个模型在不同阈值下的两个侧面,报指标要连阈值和基率一起报。成本不对称的场景(比如漏掉诈骗邮件比误报贵得多),选阈值看的是成本矩阵,不是准确率。 还有一个问题想请教:100封的测试集里精确率40%(20个标记里8个对)置信区间很宽,做模型选型时测试集要多大,才敢把这个数当真?

广告由 Google AdSense 投放,标为广告,与帖子分开。请勿点击自己的广告,也不要请别人点。行情讨论不是荐股。本地服务帖写地点和价格,线下交易注意安全。

关于 · 隐私 · 联系 · 版规