先查分母,再查分组标签。分组结论与总体相反,通常不是其中一个结论错了,而是两组用的分母不同,或同一分母被切分后含义变了。把总体和每个分组的分母写成“分子/分母”并逐项对齐,是查清分歧最快的动作。
总体指标是各分组按各自分母加权后的结果。当各组分母规模差异很大时,一个小组的高比率可能被另一个大组的低比率淹没,总体看起来与小组方向一致;反过来,如果总体分母里混进了不属于任何分组的记录,总体又可能被这些记录拉向另一侧。这就是辛普森式翻转的常见来源。
需要区分两种相反:一种是比率方向相反,另一种是绝对量方向相反。前者几乎总是分母口径问题,后者可能是分组标签重复或遗漏造成的。先确定你看到的是哪一种,再决定查哪里。
拿出手里的那份报表或页面,对每个结论补三列:分子定义、分母定义、分母覆盖的时间范围。然后逐项核对下列问题:
把这四问的答案写在同一张纸上,分歧往往在第二步就暴露:两个角色说的“总体”其实一个含未分类记录,一个不含。
假设一份排名分析表要比较移动端和桌面端的达标率。总体达标率 40%,移动端 60%,桌面端 30%,两者都低于总体,看起来矛盾。此时不要急着判定谁错,先看分母:
这个例子的数字仅用于说明核对方法。真正的动作是:先确认总体分母与分组分母之和是否相等,再决定是补分组还是改总体口径。如果差额来自未分类记录,下一步应回到采集或打标环节,而不是修改结论。
核对结果通常落在三种情况,对应三种不同动作:
无论落在哪种情况,都应在结论旁标注分母来源和覆盖范围。这样其他人复核时,能直接看到两个角色用的到底是不是同一个分母,而不必重新争论结论本身。
与其反复解释,不如交付一张最小核对表:每个结论一行,列出分子、分母、口径说明、数据来源。第三方估算流量、搜索引擎报告与站内统计的口径本来就不同,混用时分母差异更大,因此口径说明比结论更重要。把这张表交给持不同理解的角色,让他们各自指出自己认可的分母,分歧会从“谁的结论对”转成“哪一列需要统一”,这通常就是可以立即执行的下一步。