先给有条件的结论:当你把总体拆成若干分组后,发现每个分组的方向都与总体相反,这通常不是数据出错,而是分母或权重在分组间分布不均造成的。此时不能直接套用总体结论,需要先定位分母,再判断哪个层级的结论适用于你的决策。
这类现象在实战中常被称为辛普森反转的变体:总体看A高于B,分组看每一组都是B高于A。原因往往只有一个——A在“天然表现更好”的分组里占比过高,而B集中在表现差的分组。总体数字被结构差异拉高,分组内的真实对比反而被掩盖。
要验证这一点,不需要复杂统计,只需要把每个分组的分母(曝光、可抓取页面数、有效查询数或访问次数)和分子(点击、转化、收录数)并列列出。如果某分组的分母在总体中占比超过它在分组内的占比,反转就很可能来自结构,而非真实效果差异。
一个假设示例:某站把页面分为“旧栏目”和“新栏目”两组。总体看旧栏目点击率高于新栏目;但分组看,旧栏目里表现好的页面多、新栏目里表现好的页面少,且新栏目页面总量远小于旧栏目。这时总体结论不能直接用于判断“旧栏目策略更优”,因为分母结构不同。
分组结论可信的前提是:分组之间的分母口径一致,且分组划分不是事后为了凑结论而调整的。满足以下条件时,可以优先看分组:
如果这些条件不成立,分组结论同样不能直接照搬。比如某组只有几十个曝光,即使比率看起来很高,也不足以推翻总体判断。
有一种情况会让“查分母”这个动作本身失效:分母来自不同系统或不同统计口径。比如站内日志统计的页面访问次数,和第三方估算的搜索流量,分母定义不同。你把它们混在一起分组,反转可能只是口径差异,不是结构差异。
具体反例:假设你用第三方估算的“搜索流量”作为分子,用站内日志的“总访问”作为分母,再按栏目分组。某个栏目在第三方估算里被低估,在站内日志里占比又偏高,分组结论就会与总体相反。这时正确的做法不是继续拆组,而是先统一口径,或者只用同一来源的数据做分组比较。
判断依据很简单:如果你换一个数据源,反转消失或方向改变,那原来的反转就不足以支撑决策。反之,如果两个独立来源都显示同样的分组方向,分组结论才更值得采信。
遇到分组与总体相反,按这个顺序操作:
这个动作的结果会直接影响下一步:若确认是分母结构导致反转,你的优化动作应针对具体分组,而不是套用总体策略;若确认是口径问题,先修数据管道,再谈结论。无论哪种,都不要在分母未查清前把总体结论当作最终答案。