← 返回文章列表

模型训练手记 01|先算天花板,再写第一行代码

模型训练手记 01|先算天花板,再写第一行代码 为什么不能上来就训模型 0. 一个三个月的故事 去年有个团队找我,说他们的客户流失预警模型调了三个月,AUC 从 0.68 提到了 0.71,准备上线。 我问了四个问题,他们一个都答不上来。 后来我们一起花了大半天查了一遍。结果是: 他们以为 实际情况

模型训练手记 01|先算天花板,再写第一行代码

为什么不能上来就训模型


0. 一个三个月的故事

去年有个团队找我,说他们的客户流失预警模型调了三个月,AUC 从 0.68 提到了 0.71,准备上线。

我问了四个问题,他们一个都答不上来。

后来我们一起花了大半天查了一遍。结果是:

他们以为实际情况
AUC 从 0.68 到 0.71,进步了 0.03同一个模型换 8 次数据划分,AUC 是 0.705 ± 0.018;而 5 折里单折成绩在 0.596~0.890 之间跳。0.03 连噪声地板(0.036)都没超过
模型比单个特征强很多最强的一个字段单独就有 0.694,整个模型 0.705,只高 0.011
再练练能到 0.9他们抽 50 条做了双标,两人不一致率 40% → 标签错误率约 28% → 天花板只有 0.72。0.9 不存在
业务要用这个模型业务真正要的是"每季度只能救 40 家,该救哪 40 家",他们优化的是 AUC。指标从一开始就错了

三个月里,他们做了很多正确的事:

  • 试了 7 种模型,从逻辑回归到三种梯度提升树
  • 做了两轮特征工程,加了 20 多个字段
  • 调了学习率、树深、正则化,跑了 60 多组参数
  • 每改一次都做了交叉验证,AUC 从 0.68 稳定爬到 0.71

唯独没做一件事——先搞清楚这件事最多能做到什么程度。

而这四件事,加起来花了我们半天。

这不是他们笨。是没人告诉过他们,训练之前还有一个步骤。


1. 为什么不直接训?

先说答案:

因为训练验证不了"数据配不配"。

训练测试的是模型,不是数据。而决定成败的,往往是数据。

具体是四个坑,每一个都有真实数字。

第一个坑:你不知道自己有没有在进步

你看到 AUC 从 0.705 变成 0.723,觉得进步了。

但同一个模型、同一份数据,你什么都不改,只是换 8 次数据划分的方式:

AUC = 0.705 ± 0.018        范围 0.673 ~ 0.731

再看五个分片各自的成绩:

0.596   0.602   0.690   0.799   0.890     极差 0.295

同一个模型,在五份不同的数据切片上,AUC 从 0.596 到 0.890。

所以"提升 0.02"是什么?大概率是噪声。

没有先测出这个"噪声地板",你分不清"优化"和"运气"。 这是训练过程永远不会告诉你的——它只会给你一个数,不告诉你这个数可信到什么程度。

第二个坑:你不知道离终点还有多远

"我的模型 AUC 是 0.71"——这句话本身没有好坏。

同一句话,在两个世界里含义完全相反:

天花板你的 0.71 意味着该做什么
0.72几乎到顶收工,去上线
0.80还有 9 个点继续,但别指望翻盘
0.95还有 24 个点数据或模型有严重问题,先查

就像有人说"我考了 71 分"——满分 72 是天才,满分 100 是中等,满分 150 是不及格。

天花板就是那张卷子的满分。没有它,分数毫无意义。

而天花板是可以算出来的。比如最常见的一种:如果标签有 20% 是错的,天花板就只有 0.80。

道理很简单——尺子本身有 20% 的刻度是歪的,你量不出准确的东西。

第三个坑:你不知道目标对不对

团队优化 AUC,业务要的是 "prec@20"——推 20 个名单,几个是真的。

AUC 关心"整体排序准不准",prec@20 关心"前 20 个里几个是真的"。这两个指标经常打架。

同一份数据上跑出来的两个模型:

模型AUC(整体排序)prec@20(前 20 个命中率)
甲0.6400.800
乙0.8480.650

AUC 说乙好,实际业务该用甲。

如果你的目标是错的,训练越努力,错得越远。

这里其实混了三个不同层级的东西。

层给谁看例子它回答什么
业务指标老板、客户每季挽回的客户数、单位获客成本、年毛利这件事值不值得做
选模指标数据/算法团队prec@40、AUC这一版该不该采用
训练指标机器logloss、梯度范数参数往哪走

AUC 不在第一层。 它是第二层的工具。所以"我们要优化 AUC"这句话,从业务角度看本身就是错的——它把手段当成了目标。

那业务指标本身怎么定?三条硬标准。

标准不合格长什么样
① 能折成钱或数量"提升客户体验"——折算不了,这是愿望
② 有明确分母"挽回 200 个客户"——没有分母,不可比较
③ 对应一个可执行动作不知道谁去干、一次干几个

拿三个候选对照一下就清楚了:

候选能算钱有分母有动作判定
提升 AUC❌❌❌不是业务指标
客户满意度做到 4.5 分⚠️ 间接✅❌ 不知道谁做什么太远,落不了地
每季挽回的流失客户数✅ × 单客毛利✅ 每季度✅ 客户成功拜访 40 家✅ 合格

注意第三行:它能算成钱(× 4.8 万毛利)、有分母(每季度)、有动作(40 家拜访名额)。

这三样齐全,它才配当业务指标。

业务指标定了,才轮到下一个问题:模型没法直接优化它(要等三个月才知道谁流失了),所以得找一个能当天算出来的代理。

代理怎么定?三步,全是业务问题。

问题答案决定什么
谁在用?一次能处理几个?K(没有产能 → prec@K 根本不适用)
拿到分数后做什么?排序 / 过线 / 算钱指标族
哪种错更贵?贵多少?主指标是 precision 还是 recall

三步答完,查这张表,主指标就定了:

你怎么用它漏了更贵误报更贵差不多
只取前 K 个recall@Kprec@Kprec@K
每条过阈值recallprecisionF1
概率乘金额算钱——logloss + 校准
只要整体排序AUCAUCAUC

反例最能说明问题:如果你的动作是"每条都要人看一遍",prec@K 就不该出现——没有 K。你会一直优化一个不存在的约束。

拿本文后面的 SaaS 案例走一遍这三步:

  • 谁在用?客户成功团队,每季只能救 40 家 → K = 40
  • 拿它干什么?按名单挨个拜访 → 取前 K 个
  • 哪种错更贵?名额固定,浪费一个名额就少救一家 → 误报更贵

查表:只取前 K 个 + 误报更贵 → prec@40。

所以整篇文章后面谈的都是 prec@40,而不是 AUC——这不是偏好,是推导出来的。

剩下的指标不参与决策,只当"约束"和"报警",具体见附录 B。

第四个坑:你不知道数据配不配

自动标注、人工拍脑袋、口径不统一——你的标签可能有 10% 到 30% 是错的。

而模型只能学到"标签说的规律",学不到"真相"。

标签错 20%,天花板就是 0.80。你在一个 0.80 的天花板下追 0.9,永远不会成功,而且到死都不知道为什么。

四个坑摊在一起看:

坑什么时候能发现代价
不知道自己有没有进步训练前半天
不知道离终点多远训练前半天
不知道目标对不对训练前半天
不知道数据配不配训练前半天
全都不做上线后三个月 + 团队信心

这就是为什么不能直接训:这四件事,训练过程永远不会告诉你。

训练只会回答一个问题——"在这套数据上,这个模型拟合得怎么样"。它不会回答——"这套数据值不值得拟合"。

这个过程叫"可行性评估",也有人叫"上限预估"或"数据体检"。要做的事只有三件:

要回答什么用什么
这事最多能做成什么样天花板(数据的上限)
我能测出多大的改进噪声地板(分辨率)
值不值得做算钱

它不需要模型,不需要算法,不需要显卡。一支笔、一张表、半天时间。

这就是为什么它对小白友好——你需要的是业务判断,不是技术能力。


2. 四把尺子

都是大白话,不用公式。每把尺子都标了:怎么做、花多久、什么时候会骗你。

尺子一:双标(半天)

随机抽 50 条,找两个人各标一遍。不许商量,不许互相看。数一数两个人不一致的有几条:

两人不一致率 d标签错误率 η天花板(AUC 上界)
10%约 5%约 0.95
20%约 10%约 0.90
40%约 28%约 0.72

一句话:天花板 ≈ 1 − η(η 就是标签错误率)。

它测不出什么:两个人可能"一致地错"。比如都认为"客户说考虑一下"算意向客户——标注高度一致,但实际只有 10% 会签。双标发现不了这种错。

如果两人对某一条意见不同,先别急着判谁对——单独记下来,标"有争议"。标完 50 条后,如果发现争议集中在某一类样本上,那说明你的标签口径本身有问题,该做的是开会统一口径,不是继续标注。

这半天的真正产出,往往不是那个数字,而是发现口径不一致。

术语:两人不一致率记 d,标签错误率(label noise rate)记 η。对称噪声下有 d = 2η(1−η),η 较小时近似 η ≈ d/2。表格里那个"天花板",正式说法是 AUC 的理论上界 1 − η(推导见附录 A2)。

尺子二:人类基线(半天)

找三个最会看这件事的人——不是最懂模型的,是最懂业务的——各给 100 条独立打分:

你看到说明
三个人互相一致率只有 60%这件事本身没有确定答案,天花板很低
一致率 85%,而你的模型是 0.78还有空间
一致率 85%,而你的模型是 0.84已经很接近人的水平

它测不出什么:专家可能集体有偏见。一致性高,不等于正确性高。

术语:专家之间的一致性常用 Cohen's κ 或 Krippendorff's α 度量;"人能做到的上限"正式叫 人类上限(human ceiling),是估计可达性能的标准做法之一。

尺子三:分组看波动(两小时)

把数据按条件分组——比如"星期几 × 天气 × 是不是工作日"——然后看同一组里面还能差多少。

你看到的波动分两种:一种是能解释的(周一平均 180、周六平均 230),一种是解释不了的(同样是周一,有的 175、有的 190)。把能解释的扣掉,剩下的就是天花板。

一个八条数据的例子:

类型销量
工作日190, 195, 205, 210
休息日140, 145, 155, 160
  • 不分组的波动:26.2
  • 按"工作日/休息日"分组后的组内波动:7.9

降下去的 18,被"工作日/休息日"这个因素解释了。剩下的 7.9,是任何模型都消不掉的随机。

它什么时候会骗你:每组样本太少时,算出来的波动会"虚假地"变小。每组至少要有 20~30 条数据。 切到每组 3 条,数字会好看得离谱,但那是假的。

术语:组内波动就是条件方差 Var(y|x);"总 = 组间 + 组内"不是凑出来的,是方差分析(ANOVA)的分解恒等式。而 Var(y|x) 对应的最优误差,叫贝叶斯误差(Bayes error),任何模型都不可超越。

尺子四:假装提前知道答案(一天)

把"只有事后才知道"的信息塞给模型,看它能做到多好。

一家便利店要预测明天做多少份便当:正常能用的信息是星期几、天气、昨天卖了多少 → 误差 ±15 份;假装知道"明天实际来多少客人" → 误差 ±5 份。

结论:「当天客流量」这个信息值 10 份的精度。

结果结论
几乎没提升这个信息没用,别费劲
提升明显这个信息值钱,想办法去拿
提升到接近满分大概率是把答案抄进去了,要查泄漏

它什么时候会骗你:这个"作弊特征"永远不能上线,它只是测量工具。而且它给的是"上界"——现实里拿到的数据有噪声,要打个折。

术语:这类特征叫神谕特征(oracle feature),这套做法叫上界分析(upper-bound analysis)。它测的是"如果这个信息可得,能做到多少",因此结果是上界而不是预期值。

顺序:从最便宜的那把开始

顺序尺子花多久先做的理由
1双标半天最便宜,而且直接给出全局天花板
2人类基线半天告诉你"人能做到多少",是现实目标
3分组看波动两小时告诉你瓶颈在数据还是在特征
4假装知道答案一天告诉你"该去补什么"

如果第 1 步就算出天花板只有 0.72,而你现在是 0.71——后面三步都可以不做了。

这就是顺序的意义:用最便宜的那把尺子,尽早排除掉不值得做的事。


3. 完整案例:一家 SaaS 的 40 个电话

用第四把尺子,完整走一遍。

说明:数据是仿真的(生成规则可控,便于测量每个信息的真实价值)。方法是真实的,数字是构造的。

一家卖 HR 系统的 SaaS 公司,2000 家客户,未来 90 天会流失 229 家(11.5%)。每季需要评估 500 家,客户成功团队只能救 40 家,单客户年毛利 4.8 万。

问题:500 家里只有约 50 家会流失,团队只能救 40 家。挑谁?

现在凭经验挑,命中率和随机差不多——11.5%。

他们的产品数据其实很丰富:登录频次、功能使用率、工单数、NPS、合同金额、账龄——埋点做了两年。训一个模型,AUC 0.610,40 个里命中 25.8%。比随机好一倍多,但离"能救回大部分客户"还差得远。

把"事后才知道"的信息塞进去看看:

加什么AUC40 个里命中提升
基线(只有产品数据)0.61025.8%—
+ 公司被并购或大裁员0.69555.0%命中翻一倍
+ 对接人离职0.73356.7%几乎没动
+ 预算被砍0.74260.8%一点
+ 在评估竞品0.74460.8%无

发现一:一个字段贡献了 63% 的增益。

不是"多找几个字段",是"找对那一个"。

发现二:团队自己的动作,最像金矿,最没用。

"客户成功是否已经启动挽留"这个字段,单独看 AUC 0.713——比任何真信息都高;加上它,模型 AUC 从 0.610 跳到 0.729。

但它不能用。

客户成功打电话 → 电话里听出风险 → 才启动挽留
        ↑                              ↓
   风险是原因                      挽留是结果

它是"要流失"的结果,不是原因。 而且预测发生在季度初,挽留发生在季度中——上线时这个字段根本不存在。

判据只有一句话:这个字段出现,是因为外部世界变了,还是因为我们先做了什么?

客户被并购 → 外部世界变了 → 是信息。已启动挽留 → 我们先动了 → 是反应。

发现三:代理指标只值 17%。

拿不到"被并购",但能看到"这家公司招聘岗位在减少"——一个便宜的代理:

方案AUC40 个里命中
基线 + 真信号(并购)0.69555.0%
基线 + 代理(招聘环比)0.62530.0%

代理只挽回了 17% 的价值。 差的代理最危险的地方在于:它会给你一种"我已经处理了这个问题"的错觉。

最后还有一件事值得单独说。回看上面那张表里的一行:"+ 对接人离职 → 命中率从 55.0% 到 56.7%"——这 1.7 个点,是真的吗?

40 个样本,测量误差大约是 ±8 个点。1.7 个点完全在误差范围内,你无法判断加了这个字段到底有没有用。这就是"统计分辨率":样本太少时,你的尺子刻度比你要量的东西还粗。

所以这组实验里,真实可用的结论只有一条:并购有用(+29 点),其余三个分不出来。"分不出来"不等于"没用",但它意味着:不值得为它投入。

最后算钱。

假设干预能挽回 30% 的流失客户:

方案40 个里命中每季救回年化收益
现状(随机挑)11.5%1.4 家26 万
产品模型25.8%3.1 家60 万
+ 可得信号55.0%6.6 家127 万
理论满分60.8%7.3 家140 万
  • 从"随机"到"产品模型":+34 万/年 ← 团队两年的埋点工作
  • 从"产品模型"到"补两个数据源":+67 万/年 ← 一个 API + 一个 CRM 字段
  • 从"可得"到"理论满分":+13 万/年 ← 剩下两个买不到

结论:钱应该花在"买数据",不是"继续优化埋点"。

而这个结论,是在写任何一行训练代码之前就能得出的。

他们最后做了什么。

拿着这张表,团队做了三个决定:

决定依据
停掉埋点优化原计划再投 6 个月做特征工程,预期 +3 个点。但两个买不到的字段加起来只值 +0.011(约 1 个点),不划算
买一个 API企查查股权变更,年费两万,值 +0.085(业务上命中率 +29 个百分点)
把考核指标从 AUC 换成 prec@40整件事 AUC 只涨 0.134,但业务命中率涨了 35 个百分点——只看 AUC 会严重低估它的价值

注意第三个决定:它一分钱没花,但可能是三个里最值钱的。

因为指标错了,后面每一个决定都会错。


4. 没有这一步,到底会怎样

做了评估没做评估
第 1 周花一天双标 + 半天人类基线直接开训
第 1 个月知道天花板 0.72,知道最强单特征已经 0.694调参,AUC 0.68 → 0.70
第 2 个月决定不做了——因为只值 1 个点继续调参,0.70 → 0.71
第 3 个月转向"补数据",提前拿到 +29 个点上线,发现业务不用
结局省了两个月,换了个方向三个月白干,团队信心受损

差别不在能力,在于"什么时候知道"。

要特别说清一件事:

这一步不是"调参前的仪式",它决定的是"要不要做"。

一个已经证明天花板只有 1.2 倍的项目,最好的结果是不做——而不是"做个更好的模型"。


5. 三个反驳,和四种可以不做的情况

在讲怎么做之前,先把三种最常见的反对意见说清楚。

反驳一:"我们数据量大,不存在这个问题"

数据量大解决的是波动,不是天花板。

数据量噪声地板天花板(标签错 20%)
200 条±0.0180.80
20 万条±0.002还是 0.80

数据多了,你看得更清楚——但看清的还是一堵 0.80 的墙。

天花板由两件事决定:标签有多准、特征里有多少信息。这两件都跟数据量无关。

反驳二:"先跑起来,边跑边优化"

这是好的工程习惯,但有个前提:你得能判断"跑起来的东西有没有在变好"。

  • 没有噪声地板,你分不清 0.705 和 0.723 是改进还是运气
  • 没有天花板,你分不清 0.71 是"接近完美"还是"严重不足"

"先跑起来"适用于需求不确定,不适用于数据不确定。

需求可以边做边问用户;数据的上限不能边做边发现——因为它不会主动告诉你,等你发现时,投入已经沉没了。

反驳三:"评估要两天,我们等不了"

两天 vs 三个月。

而且这两天的内容,大部分是问业务问题——"一次能处理几条"、"哪种错更贵"、"现在怎么做的"。这些本来就是立项时该问的。 你不在这里问,就得在三个月后用更大的代价问。

反过来,也要诚实地说,有些情况确实可以跳过:

情况能不能跳过理由
一个下午就能训完的小模型可以试错成本低于评估成本
只做原型验证想法,不上线可以目标是"探索",不是"决策"
数据是你自己造的仿真环境可以生成规则已知,天花板直接算
同类项目刚做过评估可以结论可复用(先确认分布一致)

但即使跳过,也要记住:

你跳过的不是"步骤",是"知道自己在哪里"。

而且一旦要真正上线,这一课还是要补——因为上线后的代价,是三个月。


6. 两天怎么做

开工前必须答的 10 个问题。

#问题答不上来的后果
1这个模型给谁用?他拿它做什么动作?任务类型选错
2他一次能处理几条?指标选错(该看 top-K 的看了整体)
3犯哪种错更贵?贵多少?决策规则错,收益减半
4正例有多少?标签多久才能确认?用未成熟的标签训练,学到假规律
5预测那一刻,哪些字段已经存在?泄漏:离线好看,上线崩
6池子里一共有多少真机会?天花板算不出来
7同样条件下,结果还能差多少?不知道值不值得做
8一次能测出多大的差异?天天追噪声
9现在的做法是什么,效果多少?没有基线,无法证明价值
10做到什么程度就够本?不知道什么时候该停

这 10 个问题里,只有第 8 个稍微涉及技术,其余全是业务问题。

这就是为什么做这件事不需要你懂算法——它需要你懂业务。

两天的执行顺序。

时间做什么产出
第 1 天上午双标 50 条标签错误率 → 天花板
第 1 天下午找 3 个专家各标 100 条人类基线
第 2 天上午分组看波动现有特征的信息极限
第 2 天下午算钱:命中数 × 转化率 × 单价 − 投入值不值得做

7. 结尾

那个三个月的故事里,最扎心的不是"白干"。

是这四件事本来半天就能知道。

机器学习里最贵的从来不是算力,是**"在错误的方向上高效前进"**。

所以顺序应该是:

先算天花板  →  再判断值不值得  →  再写第一行代码

而不是:

先写代码  →  训三个月  →  再看天花板  →  发现到不了

模型的上限,写在你还没采集的数据里。而这个上限,你现在就能算出来。

如果只记三句话:

  1. 训练验证不了"数据配不配"。
  2. 没有天花板,任何指标数字都没有意义。
  3. 两天能算清楚的事,别用三个月去猜。

附录 A:公式与推导

正文里所有结论都能用公式精确表达。这里补上,供需要时查阅。每条都标了失效场景——公式不是永远成立的。

A1 噪声地板

白话:你什么都没改,指标自己会晃。晃的幅度叫噪声地板。

公式:同一模型、同一数据,只换数据划分的随机种子,重复 m 次得到 a₁…aₘ:

平均值  ā = (a₁ + … + aₘ) / m
标准差  σ = √[ Σ(aᵢ − ā)² / (m − 1) ]

判据:变化量小于 2σ 时,不能认定为改进。

本例:ā = 0.705,σ = 0.018,故 2σ = 0.036。

失效场景:m < 5 时 σ 估计不稳;若换种子同时改变了数据分布,则测的不是噪声。

A2 标签噪声与 AUC 上限

白话:标签错 20%,任何模型的天花板就是 0.8。

推导:设对称噪声率 η,即每条标签以概率 η 被翻转。观察到的"正例"里,有 (1−η) 的比例真是正例、η 的比例是负例。对完美排序器,四种配对情形加权:

AUC = (1−η)² × 1 + 2η(1−η) × 0.5 + η² × 0
    = (1−η)

对任意真实能力的收缩形式:

AUC(测得) = 0.5 + (A − 0.5) × (1 − 2η)

双标估 η:两人独立标注、各自错误率 η,则不一致率 d = 2η(1−η);η 较小时 η ≈ d/2。

修标签的收益:

收益 = A − AUC(测得) = η(2A − 1)

代入 A = 0.643、η = 0.08,得 0.023——只有 2.3 个点。这就是"模型很弱时修标签不划算"的数学原因。

失效场景:噪声非对称(只错一个方向);噪声与特征相关(某类样本更易错);模型本身是用噪声标签训练的——此时 A 已被污染,公式给的是上界估计。

A3 误差分解与分组方差

白话:误差 = 数据自带的随机 + 模型没学到的。

公式:

期望误差 = Var(y | x)  +  [ f(x) − E(y | x) ]²
             ↑                ↑
        不可约(天花板)    可优化(模型不足)

总方差分解:

Var(y) = Var( E[y | 组] )  +  E[ Var(y | 组) ]
           ↑ 组间             ↑ 组内

注意:方差可加,标准差不可加。

总方差 687.5 = 组间 625.0 + 组内 62.5     ✓
标准差 26.2  ≠ 25.0 + 7.9                ✗

小样本偏差:n 条样本的标准差,期望是真实值的 c₄(n) 倍。c₄(3) ≈ 0.886,c₄(10) ≈ 0.973,c₄(30) ≈ 0.991。

这就是"每组至少 20~30 条"的数学依据。

失效场景:非平方损失(绝对值损失无此分解);每组样本不足;标签噪声混进组内,无法与真实随机区分。

A4 统计分辨率

白话:样本越少,尺子刻度越粗。

公式:比例 p 的标准误

SE = √[ p(1 − p) / n ]

本例:n = 40、p = 0.55 时,SE ≈ 0.079,即 1σ ≈ 8 个百分点。

所以"命中率提升 1.7 个点"这种差异,无法与运气区分。

失效场景:样本非独立(同一客户重复出现)会低估 SE。

A5 报童模型:预测 ≠ 决策

白话:缺货亏 5 元、浪费亏 3 元时,不该备"平均值",该备"六成二的日子能卖完"的量。

公式:

最优备货量 = 需求分布的 F⁻¹( c_u / (c_u + c_o) )

c_u 是缺货成本,c_o 是浪费成本。代入 5 和 3:

F⁻¹( 5 / (5+3) ) = F⁻¹(0.625)

这就是"预测准"和"决策对"是两件事的原因——模型给你的是分布,决策规则从成本推出来。

失效场景:需求分布估计不准时,分位数比均值更敏感;多期补货、有保质期时模型不同。

A6 AUC 与 prec@K 为什么会打架

白话:AUC 看全局排序,prec@K 只看前 K 个。

定义:

AUC     = P( 正例的得分 > 负例的得分 )
prec@K  = 前 K 个里正例的比例

本例(SaaS 案例):

特征ΔAUCΔprec@40谁更敏感
并购+0.085+29.2 点都敏感
离职+0.038+1.7 点AUC 敏感
预算+0.009+4.2 点prec 敏感

失效场景:正例率变化时,AUC 不可跨数据集比较。


附录 B:常见指标速查

先分两类,混用这两类是最常见的误判来源:

  • 依赖阈值:accuracy、precision、recall、F1——阈值一动,数字全变
  • 不依赖阈值:AUC、logloss、校准——只看排序或概率本身
指标一句话符号依赖阈值什么时候骗你
accuracy 准确率整体判对的比例(TP+TN)/N是不平衡时全猜多数类也很高
precision 精确率推出去的里几个是真的TP/(TP+FP)是只推 1 条就 100%
recall 召回率真的里抓到几个TP/(TP+FN)是全判正例就 100%
F1精确率与召回率的调和平均2PR/(P+R)是掩盖"哪种错更贵"
prec@K前 K 个里几个是真的TP@K / K否(依赖 K)K 取小就好看
recall@K前 K 个抓到多少TP@K / (TP+FN)否(依赖 K)同上
AUC随机一对正负样本排对的概率P(s⁺ > s⁻)否不看头部;不能跨数据集比
PR-AUC不平衡下的排序质量PR 曲线下面积否小样本不稳
logloss 对数损失概率准不准,重罚"自信地错"−E[y·log p + (1−y)·log(1−p)]否排序好但概率错会很差
Brier / 校准说的比例有没有兑现E[(p−y)²]否每桶样本少时不稳
lift 提升倍数比随机好多少倍prec@K / 基准率否(依赖 K)基准率一变就不可比
MAE平均差多少mean(abs(y−ŷ))—对极端值不敏感
RMSE大错罚更重sqrt(mean((y−ŷ)²))—被离群点主导
R²解释了多少波动1 − SS_res/SS_tot—跨数据集不可比,样本少会变负

两条使用规则:

  1. 报"依赖阈值"的指标时,必须同时报阈值或 K,否则数字不可复现。
  2. 主指标只能有 1 个。 其余要么是约束(不许变差),要么是监控(破线报警)。

三个最常见的误用,可以直接拿去检查别人的汇报:

误用为什么错正确做法
用 accuracy 汇报不平衡问题1000 条里 100 个正例,全猜负例就有 90%换成 prec@K 或 PR-AUC
用 AUC 证明"头部变好了"AUC 是全局平均,不看头部报 prec@K
报 precision 不报阈值阈值移到 0.99,precision 必然很高,但没推几条同时报"推了多少条"和 recall

附录 C:白话 ↔ 术语对照

正文用的都是白话,这里给出对应的专业说法,方便你去查资料、和算法同学对话。

白话(正文)专业术语符号 / 英文
噪声地板运行间方差;最低可检测差异σ、2σ;MDD
天花板贝叶斯误差 / 不可约误差Bayes error, irreducible error
统计分辨率标准误 / 置信区间SE、CI
标签错误率标注噪声率η(label noise rate)
人能做到的水平人类上限human ceiling
假装提前知道答案神谕特征 / 上界分析oracle feature, upper-bound analysis
团队自己的动作处理后变量(会引入因果倒置的泄漏)post-treatment variable
代理指标代理变量proxy variable
分组看波动条件方差 / 方差分析Var(y given x)、ANOVA
只取前 K 个预算约束下的排序评估budgeted ranking

(附:文中的实验代码与完整数据在工作区 ml_diag/ 与 saas_churn/ 目录下,可复现。)

评论