模型训练手记 01|先算天花板,再写第一行代码
为什么不能上来就训模型
0. 一个三个月的故事
去年有个团队找我,说他们的客户流失预警模型调了三个月,AUC 从 0.68 提到了 0.71,准备上线。
我问了四个问题,他们一个都答不上来。
后来我们一起花了大半天查了一遍。结果是:
| 他们以为 | 实际情况 |
|---|---|
| AUC 从 0.68 到 0.71,进步了 0.03 | 同一个模型换 8 次数据划分,AUC 是 0.705 ± 0.018;而 5 折里单折成绩在 0.596~0.890 之间跳。0.03 连噪声地板(0.036)都没超过 |
| 模型比单个特征强很多 | 最强的一个字段单独就有 0.694,整个模型 0.705,只高 0.011 |
| 再练练能到 0.9 | 他们抽 50 条做了双标,两人不一致率 40% → 标签错误率约 28% → 天花板只有 0.72。0.9 不存在 |
| 业务要用这个模型 | 业务真正要的是"每季度只能救 40 家,该救哪 40 家",他们优化的是 AUC。指标从一开始就错了 |
三个月里,他们做了很多正确的事:
- 试了 7 种模型,从逻辑回归到三种梯度提升树
- 做了两轮特征工程,加了 20 多个字段
- 调了学习率、树深、正则化,跑了 60 多组参数
- 每改一次都做了交叉验证,AUC 从 0.68 稳定爬到 0.71
唯独没做一件事——先搞清楚这件事最多能做到什么程度。
而这四件事,加起来花了我们半天。
这不是他们笨。是没人告诉过他们,训练之前还有一个步骤。
1. 为什么不直接训?
先说答案:
因为训练验证不了"数据配不配"。
训练测试的是模型,不是数据。而决定成败的,往往是数据。
具体是四个坑,每一个都有真实数字。
第一个坑:你不知道自己有没有在进步
你看到 AUC 从 0.705 变成 0.723,觉得进步了。
但同一个模型、同一份数据,你什么都不改,只是换 8 次数据划分的方式:
AUC = 0.705 ± 0.018 范围 0.673 ~ 0.731
再看五个分片各自的成绩:
0.596 0.602 0.690 0.799 0.890 极差 0.295
同一个模型,在五份不同的数据切片上,AUC 从 0.596 到 0.890。
所以"提升 0.02"是什么?大概率是噪声。
没有先测出这个"噪声地板",你分不清"优化"和"运气"。 这是训练过程永远不会告诉你的——它只会给你一个数,不告诉你这个数可信到什么程度。
第二个坑:你不知道离终点还有多远
"我的模型 AUC 是 0.71"——这句话本身没有好坏。
同一句话,在两个世界里含义完全相反:
| 天花板 | 你的 0.71 意味着 | 该做什么 |
|---|---|---|
| 0.72 | 几乎到顶 | 收工,去上线 |
| 0.80 | 还有 9 个点 | 继续,但别指望翻盘 |
| 0.95 | 还有 24 个点 | 数据或模型有严重问题,先查 |
就像有人说"我考了 71 分"——满分 72 是天才,满分 100 是中等,满分 150 是不及格。
天花板就是那张卷子的满分。没有它,分数毫无意义。
而天花板是可以算出来的。比如最常见的一种:如果标签有 20% 是错的,天花板就只有 0.80。
道理很简单——尺子本身有 20% 的刻度是歪的,你量不出准确的东西。
第三个坑:你不知道目标对不对
团队优化 AUC,业务要的是 "prec@20"——推 20 个名单,几个是真的。
AUC 关心"整体排序准不准",prec@20 关心"前 20 个里几个是真的"。这两个指标经常打架。
同一份数据上跑出来的两个模型:
| 模型 | AUC(整体排序) | prec@20(前 20 个命中率) |
|---|---|---|
| 甲 | 0.640 | 0.800 |
| 乙 | 0.848 | 0.650 |
AUC 说乙好,实际业务该用甲。
如果你的目标是错的,训练越努力,错得越远。
这里其实混了三个不同层级的东西。
| 层 | 给谁看 | 例子 | 它回答什么 |
|---|---|---|---|
| 业务指标 | 老板、客户 | 每季挽回的客户数、单位获客成本、年毛利 | 这件事值不值得做 |
| 选模指标 | 数据/算法团队 | prec@40、AUC | 这一版该不该采用 |
| 训练指标 | 机器 | logloss、梯度范数 | 参数往哪走 |
AUC 不在第一层。 它是第二层的工具。所以"我们要优化 AUC"这句话,从业务角度看本身就是错的——它把手段当成了目标。
那业务指标本身怎么定?三条硬标准。
| 标准 | 不合格长什么样 |
|---|---|
| ① 能折成钱或数量 | "提升客户体验"——折算不了,这是愿望 |
| ② 有明确分母 | "挽回 200 个客户"——没有分母,不可比较 |
| ③ 对应一个可执行动作 | 不知道谁去干、一次干几个 |
拿三个候选对照一下就清楚了:
| 候选 | 能算钱 | 有分母 | 有动作 | 判定 |
|---|---|---|---|---|
| 提升 AUC | ❌ | ❌ | ❌ | 不是业务指标 |
| 客户满意度做到 4.5 分 | ⚠️ 间接 | ✅ | ❌ 不知道谁做什么 | 太远,落不了地 |
| 每季挽回的流失客户数 | ✅ × 单客毛利 | ✅ 每季度 | ✅ 客户成功拜访 40 家 | ✅ 合格 |
注意第三行:它能算成钱(× 4.8 万毛利)、有分母(每季度)、有动作(40 家拜访名额)。
这三样齐全,它才配当业务指标。
业务指标定了,才轮到下一个问题:模型没法直接优化它(要等三个月才知道谁流失了),所以得找一个能当天算出来的代理。
代理怎么定?三步,全是业务问题。
| 问题 | 答案决定什么 |
|---|---|
| 谁在用?一次能处理几个? | K(没有产能 → prec@K 根本不适用) |
| 拿到分数后做什么?排序 / 过线 / 算钱 | 指标族 |
| 哪种错更贵?贵多少? | 主指标是 precision 还是 recall |
三步答完,查这张表,主指标就定了:
| 你怎么用它 | 漏了更贵 | 误报更贵 | 差不多 |
|---|---|---|---|
| 只取前 K 个 | recall@K | prec@K | prec@K |
| 每条过阈值 | recall | precision | F1 |
| 概率乘金额算钱 | — | — | logloss + 校准 |
| 只要整体排序 | AUC | AUC | AUC |
反例最能说明问题:如果你的动作是"每条都要人看一遍",prec@K 就不该出现——没有 K。你会一直优化一个不存在的约束。
拿本文后面的 SaaS 案例走一遍这三步:
- 谁在用?客户成功团队,每季只能救 40 家 → K = 40
- 拿它干什么?按名单挨个拜访 → 取前 K 个
- 哪种错更贵?名额固定,浪费一个名额就少救一家 → 误报更贵
查表:只取前 K 个 + 误报更贵 → prec@40。
所以整篇文章后面谈的都是 prec@40,而不是 AUC——这不是偏好,是推导出来的。
剩下的指标不参与决策,只当"约束"和"报警",具体见附录 B。
第四个坑:你不知道数据配不配
自动标注、人工拍脑袋、口径不统一——你的标签可能有 10% 到 30% 是错的。
而模型只能学到"标签说的规律",学不到"真相"。
标签错 20%,天花板就是 0.80。你在一个 0.80 的天花板下追 0.9,永远不会成功,而且到死都不知道为什么。
四个坑摊在一起看:
| 坑 | 什么时候能发现 | 代价 |
|---|---|---|
| 不知道自己有没有进步 | 训练前 | 半天 |
| 不知道离终点多远 | 训练前 | 半天 |
| 不知道目标对不对 | 训练前 | 半天 |
| 不知道数据配不配 | 训练前 | 半天 |
| 全都不做 | 上线后 | 三个月 + 团队信心 |
这就是为什么不能直接训:这四件事,训练过程永远不会告诉你。
训练只会回答一个问题——"在这套数据上,这个模型拟合得怎么样"。它不会回答——"这套数据值不值得拟合"。
这个过程叫"可行性评估",也有人叫"上限预估"或"数据体检"。要做的事只有三件:
| 要回答什么 | 用什么 |
|---|---|
| 这事最多能做成什么样 | 天花板(数据的上限) |
| 我能测出多大的改进 | 噪声地板(分辨率) |
| 值不值得做 | 算钱 |
它不需要模型,不需要算法,不需要显卡。一支笔、一张表、半天时间。
这就是为什么它对小白友好——你需要的是业务判断,不是技术能力。
2. 四把尺子
都是大白话,不用公式。每把尺子都标了:怎么做、花多久、什么时候会骗你。
尺子一:双标(半天)
随机抽 50 条,找两个人各标一遍。不许商量,不许互相看。数一数两个人不一致的有几条:
| 两人不一致率 d | 标签错误率 η | 天花板(AUC 上界) |
|---|---|---|
| 10% | 约 5% | 约 0.95 |
| 20% | 约 10% | 约 0.90 |
| 40% | 约 28% | 约 0.72 |
一句话:天花板 ≈ 1 − η(η 就是标签错误率)。
它测不出什么:两个人可能"一致地错"。比如都认为"客户说考虑一下"算意向客户——标注高度一致,但实际只有 10% 会签。双标发现不了这种错。
如果两人对某一条意见不同,先别急着判谁对——单独记下来,标"有争议"。标完 50 条后,如果发现争议集中在某一类样本上,那说明你的标签口径本身有问题,该做的是开会统一口径,不是继续标注。
这半天的真正产出,往往不是那个数字,而是发现口径不一致。
术语:两人不一致率记
d,标签错误率(label noise rate)记η。对称噪声下有d = 2η(1−η),η较小时近似η ≈ d/2。表格里那个"天花板",正式说法是 AUC 的理论上界1 − η(推导见附录 A2)。
尺子二:人类基线(半天)
找三个最会看这件事的人——不是最懂模型的,是最懂业务的——各给 100 条独立打分:
| 你看到 | 说明 |
|---|---|
| 三个人互相一致率只有 60% | 这件事本身没有确定答案,天花板很低 |
| 一致率 85%,而你的模型是 0.78 | 还有空间 |
| 一致率 85%,而你的模型是 0.84 | 已经很接近人的水平 |
它测不出什么:专家可能集体有偏见。一致性高,不等于正确性高。
术语:专家之间的一致性常用 Cohen's κ 或 Krippendorff's α 度量;"人能做到的上限"正式叫 人类上限(human ceiling),是估计可达性能的标准做法之一。
尺子三:分组看波动(两小时)
把数据按条件分组——比如"星期几 × 天气 × 是不是工作日"——然后看同一组里面还能差多少。
你看到的波动分两种:一种是能解释的(周一平均 180、周六平均 230),一种是解释不了的(同样是周一,有的 175、有的 190)。把能解释的扣掉,剩下的就是天花板。
一个八条数据的例子:
| 类型 | 销量 |
|---|---|
| 工作日 | 190, 195, 205, 210 |
| 休息日 | 140, 145, 155, 160 |
- 不分组的波动:26.2
- 按"工作日/休息日"分组后的组内波动:7.9
降下去的 18,被"工作日/休息日"这个因素解释了。剩下的 7.9,是任何模型都消不掉的随机。
它什么时候会骗你:每组样本太少时,算出来的波动会"虚假地"变小。每组至少要有 20~30 条数据。 切到每组 3 条,数字会好看得离谱,但那是假的。
术语:组内波动就是条件方差
Var(y|x);"总 = 组间 + 组内"不是凑出来的,是方差分析(ANOVA)的分解恒等式。而Var(y|x)对应的最优误差,叫贝叶斯误差(Bayes error),任何模型都不可超越。
尺子四:假装提前知道答案(一天)
把"只有事后才知道"的信息塞给模型,看它能做到多好。
一家便利店要预测明天做多少份便当:正常能用的信息是星期几、天气、昨天卖了多少 → 误差 ±15 份;假装知道"明天实际来多少客人" → 误差 ±5 份。
结论:「当天客流量」这个信息值 10 份的精度。
| 结果 | 结论 |
|---|---|
| 几乎没提升 | 这个信息没用,别费劲 |
| 提升明显 | 这个信息值钱,想办法去拿 |
| 提升到接近满分 | 大概率是把答案抄进去了,要查泄漏 |
它什么时候会骗你:这个"作弊特征"永远不能上线,它只是测量工具。而且它给的是"上界"——现实里拿到的数据有噪声,要打个折。
术语:这类特征叫神谕特征(oracle feature),这套做法叫上界分析(upper-bound analysis)。它测的是"如果这个信息可得,能做到多少",因此结果是上界而不是预期值。
顺序:从最便宜的那把开始
| 顺序 | 尺子 | 花多久 | 先做的理由 |
|---|---|---|---|
| 1 | 双标 | 半天 | 最便宜,而且直接给出全局天花板 |
| 2 | 人类基线 | 半天 | 告诉你"人能做到多少",是现实目标 |
| 3 | 分组看波动 | 两小时 | 告诉你瓶颈在数据还是在特征 |
| 4 | 假装知道答案 | 一天 | 告诉你"该去补什么" |
如果第 1 步就算出天花板只有 0.72,而你现在是 0.71——后面三步都可以不做了。
这就是顺序的意义:用最便宜的那把尺子,尽早排除掉不值得做的事。
3. 完整案例:一家 SaaS 的 40 个电话
用第四把尺子,完整走一遍。
说明:数据是仿真的(生成规则可控,便于测量每个信息的真实价值)。方法是真实的,数字是构造的。
一家卖 HR 系统的 SaaS 公司,2000 家客户,未来 90 天会流失 229 家(11.5%)。每季需要评估 500 家,客户成功团队只能救 40 家,单客户年毛利 4.8 万。
问题:500 家里只有约 50 家会流失,团队只能救 40 家。挑谁?
现在凭经验挑,命中率和随机差不多——11.5%。
他们的产品数据其实很丰富:登录频次、功能使用率、工单数、NPS、合同金额、账龄——埋点做了两年。训一个模型,AUC 0.610,40 个里命中 25.8%。比随机好一倍多,但离"能救回大部分客户"还差得远。
把"事后才知道"的信息塞进去看看:
| 加什么 | AUC | 40 个里命中 | 提升 |
|---|---|---|---|
| 基线(只有产品数据) | 0.610 | 25.8% | — |
| + 公司被并购或大裁员 | 0.695 | 55.0% | 命中翻一倍 |
| + 对接人离职 | 0.733 | 56.7% | 几乎没动 |
| + 预算被砍 | 0.742 | 60.8% | 一点 |
| + 在评估竞品 | 0.744 | 60.8% | 无 |
发现一:一个字段贡献了 63% 的增益。
不是"多找几个字段",是"找对那一个"。
发现二:团队自己的动作,最像金矿,最没用。
"客户成功是否已经启动挽留"这个字段,单独看 AUC 0.713——比任何真信息都高;加上它,模型 AUC 从 0.610 跳到 0.729。
但它不能用。
客户成功打电话 → 电话里听出风险 → 才启动挽留
↑ ↓
风险是原因 挽留是结果
它是"要流失"的结果,不是原因。 而且预测发生在季度初,挽留发生在季度中——上线时这个字段根本不存在。
判据只有一句话:这个字段出现,是因为外部世界变了,还是因为我们先做了什么?
客户被并购 → 外部世界变了 → 是信息。已启动挽留 → 我们先动了 → 是反应。
发现三:代理指标只值 17%。
拿不到"被并购",但能看到"这家公司招聘岗位在减少"——一个便宜的代理:
| 方案 | AUC | 40 个里命中 |
|---|---|---|
| 基线 + 真信号(并购) | 0.695 | 55.0% |
| 基线 + 代理(招聘环比) | 0.625 | 30.0% |
代理只挽回了 17% 的价值。 差的代理最危险的地方在于:它会给你一种"我已经处理了这个问题"的错觉。
最后还有一件事值得单独说。回看上面那张表里的一行:"+ 对接人离职 → 命中率从 55.0% 到 56.7%"——这 1.7 个点,是真的吗?
40 个样本,测量误差大约是 ±8 个点。1.7 个点完全在误差范围内,你无法判断加了这个字段到底有没有用。这就是"统计分辨率":样本太少时,你的尺子刻度比你要量的东西还粗。
所以这组实验里,真实可用的结论只有一条:并购有用(+29 点),其余三个分不出来。"分不出来"不等于"没用",但它意味着:不值得为它投入。
最后算钱。
假设干预能挽回 30% 的流失客户:
| 方案 | 40 个里命中 | 每季救回 | 年化收益 |
|---|---|---|---|
| 现状(随机挑) | 11.5% | 1.4 家 | 26 万 |
| 产品模型 | 25.8% | 3.1 家 | 60 万 |
| + 可得信号 | 55.0% | 6.6 家 | 127 万 |
| 理论满分 | 60.8% | 7.3 家 | 140 万 |
- 从"随机"到"产品模型":+34 万/年 ← 团队两年的埋点工作
- 从"产品模型"到"补两个数据源":+67 万/年 ← 一个 API + 一个 CRM 字段
- 从"可得"到"理论满分":+13 万/年 ← 剩下两个买不到
结论:钱应该花在"买数据",不是"继续优化埋点"。
而这个结论,是在写任何一行训练代码之前就能得出的。
他们最后做了什么。
拿着这张表,团队做了三个决定:
| 决定 | 依据 |
|---|---|
| 停掉埋点优化 | 原计划再投 6 个月做特征工程,预期 +3 个点。但两个买不到的字段加起来只值 +0.011(约 1 个点),不划算 |
| 买一个 API | 企查查股权变更,年费两万,值 +0.085(业务上命中率 +29 个百分点) |
| 把考核指标从 AUC 换成 prec@40 | 整件事 AUC 只涨 0.134,但业务命中率涨了 35 个百分点——只看 AUC 会严重低估它的价值 |
注意第三个决定:它一分钱没花,但可能是三个里最值钱的。
因为指标错了,后面每一个决定都会错。
4. 没有这一步,到底会怎样
| 做了评估 | 没做评估 | |
|---|---|---|
| 第 1 周 | 花一天双标 + 半天人类基线 | 直接开训 |
| 第 1 个月 | 知道天花板 0.72,知道最强单特征已经 0.694 | 调参,AUC 0.68 → 0.70 |
| 第 2 个月 | 决定不做了——因为只值 1 个点 | 继续调参,0.70 → 0.71 |
| 第 3 个月 | 转向"补数据",提前拿到 +29 个点 | 上线,发现业务不用 |
| 结局 | 省了两个月,换了个方向 | 三个月白干,团队信心受损 |
差别不在能力,在于"什么时候知道"。
要特别说清一件事:
这一步不是"调参前的仪式",它决定的是"要不要做"。
一个已经证明天花板只有 1.2 倍的项目,最好的结果是不做——而不是"做个更好的模型"。
5. 三个反驳,和四种可以不做的情况
在讲怎么做之前,先把三种最常见的反对意见说清楚。
反驳一:"我们数据量大,不存在这个问题"
数据量大解决的是波动,不是天花板。
| 数据量 | 噪声地板 | 天花板(标签错 20%) |
|---|---|---|
| 200 条 | ±0.018 | 0.80 |
| 20 万条 | ±0.002 | 还是 0.80 |
数据多了,你看得更清楚——但看清的还是一堵 0.80 的墙。
天花板由两件事决定:标签有多准、特征里有多少信息。这两件都跟数据量无关。
反驳二:"先跑起来,边跑边优化"
这是好的工程习惯,但有个前提:你得能判断"跑起来的东西有没有在变好"。
- 没有噪声地板,你分不清 0.705 和 0.723 是改进还是运气
- 没有天花板,你分不清 0.71 是"接近完美"还是"严重不足"
"先跑起来"适用于需求不确定,不适用于数据不确定。
需求可以边做边问用户;数据的上限不能边做边发现——因为它不会主动告诉你,等你发现时,投入已经沉没了。
反驳三:"评估要两天,我们等不了"
两天 vs 三个月。
而且这两天的内容,大部分是问业务问题——"一次能处理几条"、"哪种错更贵"、"现在怎么做的"。这些本来就是立项时该问的。 你不在这里问,就得在三个月后用更大的代价问。
反过来,也要诚实地说,有些情况确实可以跳过:
| 情况 | 能不能跳过 | 理由 |
|---|---|---|
| 一个下午就能训完的小模型 | 可以 | 试错成本低于评估成本 |
| 只做原型验证想法,不上线 | 可以 | 目标是"探索",不是"决策" |
| 数据是你自己造的仿真环境 | 可以 | 生成规则已知,天花板直接算 |
| 同类项目刚做过评估 | 可以 | 结论可复用(先确认分布一致) |
但即使跳过,也要记住:
你跳过的不是"步骤",是"知道自己在哪里"。
而且一旦要真正上线,这一课还是要补——因为上线后的代价,是三个月。
6. 两天怎么做
开工前必须答的 10 个问题。
| # | 问题 | 答不上来的后果 |
|---|---|---|
| 1 | 这个模型给谁用?他拿它做什么动作? | 任务类型选错 |
| 2 | 他一次能处理几条? | 指标选错(该看 top-K 的看了整体) |
| 3 | 犯哪种错更贵?贵多少? | 决策规则错,收益减半 |
| 4 | 正例有多少?标签多久才能确认? | 用未成熟的标签训练,学到假规律 |
| 5 | 预测那一刻,哪些字段已经存在? | 泄漏:离线好看,上线崩 |
| 6 | 池子里一共有多少真机会? | 天花板算不出来 |
| 7 | 同样条件下,结果还能差多少? | 不知道值不值得做 |
| 8 | 一次能测出多大的差异? | 天天追噪声 |
| 9 | 现在的做法是什么,效果多少? | 没有基线,无法证明价值 |
| 10 | 做到什么程度就够本? | 不知道什么时候该停 |
这 10 个问题里,只有第 8 个稍微涉及技术,其余全是业务问题。
这就是为什么做这件事不需要你懂算法——它需要你懂业务。
两天的执行顺序。
| 时间 | 做什么 | 产出 |
|---|---|---|
| 第 1 天上午 | 双标 50 条 | 标签错误率 → 天花板 |
| 第 1 天下午 | 找 3 个专家各标 100 条 | 人类基线 |
| 第 2 天上午 | 分组看波动 | 现有特征的信息极限 |
| 第 2 天下午 | 算钱:命中数 × 转化率 × 单价 − 投入 | 值不值得做 |
7. 结尾
那个三个月的故事里,最扎心的不是"白干"。
是这四件事本来半天就能知道。
机器学习里最贵的从来不是算力,是**"在错误的方向上高效前进"**。
所以顺序应该是:
先算天花板 → 再判断值不值得 → 再写第一行代码
而不是:
先写代码 → 训三个月 → 再看天花板 → 发现到不了
模型的上限,写在你还没采集的数据里。而这个上限,你现在就能算出来。
如果只记三句话:
- 训练验证不了"数据配不配"。
- 没有天花板,任何指标数字都没有意义。
- 两天能算清楚的事,别用三个月去猜。
附录 A:公式与推导
正文里所有结论都能用公式精确表达。这里补上,供需要时查阅。每条都标了失效场景——公式不是永远成立的。
A1 噪声地板
白话:你什么都没改,指标自己会晃。晃的幅度叫噪声地板。
公式:同一模型、同一数据,只换数据划分的随机种子,重复 m 次得到 a₁…aₘ:
平均值 ā = (a₁ + … + aₘ) / m
标准差 σ = √[ Σ(aᵢ − ā)² / (m − 1) ]
判据:变化量小于 2σ 时,不能认定为改进。
本例:ā = 0.705,σ = 0.018,故 2σ = 0.036。
失效场景:m < 5 时 σ 估计不稳;若换种子同时改变了数据分布,则测的不是噪声。
A2 标签噪声与 AUC 上限
白话:标签错 20%,任何模型的天花板就是 0.8。
推导:设对称噪声率 η,即每条标签以概率 η 被翻转。观察到的"正例"里,有 (1−η) 的比例真是正例、η 的比例是负例。对完美排序器,四种配对情形加权:
AUC = (1−η)² × 1 + 2η(1−η) × 0.5 + η² × 0
= (1−η)
对任意真实能力的收缩形式:
AUC(测得) = 0.5 + (A − 0.5) × (1 − 2η)
双标估 η:两人独立标注、各自错误率 η,则不一致率 d = 2η(1−η);η 较小时 η ≈ d/2。
修标签的收益:
收益 = A − AUC(测得) = η(2A − 1)
代入 A = 0.643、η = 0.08,得 0.023——只有 2.3 个点。这就是"模型很弱时修标签不划算"的数学原因。
失效场景:噪声非对称(只错一个方向);噪声与特征相关(某类样本更易错);模型本身是用噪声标签训练的——此时 A 已被污染,公式给的是上界估计。
A3 误差分解与分组方差
白话:误差 = 数据自带的随机 + 模型没学到的。
公式:
期望误差 = Var(y | x) + [ f(x) − E(y | x) ]²
↑ ↑
不可约(天花板) 可优化(模型不足)
总方差分解:
Var(y) = Var( E[y | 组] ) + E[ Var(y | 组) ]
↑ 组间 ↑ 组内
注意:方差可加,标准差不可加。
总方差 687.5 = 组间 625.0 + 组内 62.5 ✓
标准差 26.2 ≠ 25.0 + 7.9 ✗
小样本偏差:n 条样本的标准差,期望是真实值的 c₄(n) 倍。c₄(3) ≈ 0.886,c₄(10) ≈ 0.973,c₄(30) ≈ 0.991。
这就是"每组至少 20~30 条"的数学依据。
失效场景:非平方损失(绝对值损失无此分解);每组样本不足;标签噪声混进组内,无法与真实随机区分。
A4 统计分辨率
白话:样本越少,尺子刻度越粗。
公式:比例 p 的标准误
SE = √[ p(1 − p) / n ]
本例:n = 40、p = 0.55 时,SE ≈ 0.079,即 1σ ≈ 8 个百分点。
所以"命中率提升 1.7 个点"这种差异,无法与运气区分。
失效场景:样本非独立(同一客户重复出现)会低估 SE。
A5 报童模型:预测 ≠ 决策
白话:缺货亏 5 元、浪费亏 3 元时,不该备"平均值",该备"六成二的日子能卖完"的量。
公式:
最优备货量 = 需求分布的 F⁻¹( c_u / (c_u + c_o) )
c_u 是缺货成本,c_o 是浪费成本。代入 5 和 3:
F⁻¹( 5 / (5+3) ) = F⁻¹(0.625)
这就是"预测准"和"决策对"是两件事的原因——模型给你的是分布,决策规则从成本推出来。
失效场景:需求分布估计不准时,分位数比均值更敏感;多期补货、有保质期时模型不同。
A6 AUC 与 prec@K 为什么会打架
白话:AUC 看全局排序,prec@K 只看前 K 个。
定义:
AUC = P( 正例的得分 > 负例的得分 )
prec@K = 前 K 个里正例的比例
本例(SaaS 案例):
| 特征 | ΔAUC | Δprec@40 | 谁更敏感 |
|---|---|---|---|
| 并购 | +0.085 | +29.2 点 | 都敏感 |
| 离职 | +0.038 | +1.7 点 | AUC 敏感 |
| 预算 | +0.009 | +4.2 点 | prec 敏感 |
失效场景:正例率变化时,AUC 不可跨数据集比较。
附录 B:常见指标速查
先分两类,混用这两类是最常见的误判来源:
- 依赖阈值:accuracy、precision、recall、F1——阈值一动,数字全变
- 不依赖阈值:AUC、logloss、校准——只看排序或概率本身
| 指标 | 一句话 | 符号 | 依赖阈值 | 什么时候骗你 |
|---|---|---|---|---|
| accuracy 准确率 | 整体判对的比例 | (TP+TN)/N | 是 | 不平衡时全猜多数类也很高 |
| precision 精确率 | 推出去的里几个是真的 | TP/(TP+FP) | 是 | 只推 1 条就 100% |
| recall 召回率 | 真的里抓到几个 | TP/(TP+FN) | 是 | 全判正例就 100% |
| F1 | 精确率与召回率的调和平均 | 2PR/(P+R) | 是 | 掩盖"哪种错更贵" |
| prec@K | 前 K 个里几个是真的 | TP@K / K | 否(依赖 K) | K 取小就好看 |
| recall@K | 前 K 个抓到多少 | TP@K / (TP+FN) | 否(依赖 K) | 同上 |
| AUC | 随机一对正负样本排对的概率 | P(s⁺ > s⁻) | 否 | 不看头部;不能跨数据集比 |
| PR-AUC | 不平衡下的排序质量 | PR 曲线下面积 | 否 | 小样本不稳 |
| logloss 对数损失 | 概率准不准,重罚"自信地错" | −E[y·log p + (1−y)·log(1−p)] | 否 | 排序好但概率错会很差 |
| Brier / 校准 | 说的比例有没有兑现 | E[(p−y)²] | 否 | 每桶样本少时不稳 |
| lift 提升倍数 | 比随机好多少倍 | prec@K / 基准率 | 否(依赖 K) | 基准率一变就不可比 |
| MAE | 平均差多少 | mean(abs(y−ŷ)) | — | 对极端值不敏感 |
| RMSE | 大错罚更重 | sqrt(mean((y−ŷ)²)) | — | 被离群点主导 |
| R² | 解释了多少波动 | 1 − SS_res/SS_tot | — | 跨数据集不可比,样本少会变负 |
两条使用规则:
- 报"依赖阈值"的指标时,必须同时报阈值或 K,否则数字不可复现。
- 主指标只能有 1 个。 其余要么是约束(不许变差),要么是监控(破线报警)。
三个最常见的误用,可以直接拿去检查别人的汇报:
| 误用 | 为什么错 | 正确做法 |
|---|---|---|
| 用 accuracy 汇报不平衡问题 | 1000 条里 100 个正例,全猜负例就有 90% | 换成 prec@K 或 PR-AUC |
| 用 AUC 证明"头部变好了" | AUC 是全局平均,不看头部 | 报 prec@K |
| 报 precision 不报阈值 | 阈值移到 0.99,precision 必然很高,但没推几条 | 同时报"推了多少条"和 recall |
附录 C:白话 ↔ 术语对照
正文用的都是白话,这里给出对应的专业说法,方便你去查资料、和算法同学对话。
| 白话(正文) | 专业术语 | 符号 / 英文 |
|---|---|---|
| 噪声地板 | 运行间方差;最低可检测差异 | σ、2σ;MDD |
| 天花板 | 贝叶斯误差 / 不可约误差 | Bayes error, irreducible error |
| 统计分辨率 | 标准误 / 置信区间 | SE、CI |
| 标签错误率 | 标注噪声率 | η(label noise rate) |
| 人能做到的水平 | 人类上限 | human ceiling |
| 假装提前知道答案 | 神谕特征 / 上界分析 | oracle feature, upper-bound analysis |
| 团队自己的动作 | 处理后变量(会引入因果倒置的泄漏) | post-treatment variable |
| 代理指标 | 代理变量 | proxy variable |
| 分组看波动 | 条件方差 / 方差分析 | Var(y given x)、ANOVA |
| 只取前 K 个 | 预算约束下的排序评估 | budgeted ranking |
(附:文中的实验代码与完整数据在工作区 ml_diag/ 与 saas_churn/ 目录下,可复现。)
评论