AI 辅助 AB 实验分析：自动检测辛普森悖论和季节效应

AI 辅助 AB 实验分析自动检测辛普森悖论和季节效应一、你被 AB 实验结果骗过吗先说一个真实案例。去年我们做了一次首页改版 AB 实验整体指标涨了 2.3%P 值 0.01 显著。产品经理兴高采烈地全量发布了结果上线三天后数据跌回原点。复盘发现两个致命问题辛普森悖论虽然整体涨了但按用户分层看新用户跌了 6%老用户涨了 3%总体被老用户的基数拉高了。全量发布后新用户首日体验变差伤到了增长基本盘。季节效应实验期间正好赶上双十一预热自然流量本来就高结果把季节红利当成策略收益了。这两个问题在手工 AB 分析里特别容易漏掉——因为分析师通常只看总体的核心指标和 P 值很少有人会逐层 drill-down 或者做时间序列拆解。flowchart TD A[AB实验数据] -- B[AI 自动分析引擎] B -- C[辛普森悖论检测] C -- C1[按用户分层拆解指标] C1 -- C2{各分层方向一致?} C2 --|不一致| C3[标记辛普森悖论br/输出各层详细对比] C2 --|一致| C4[交叉验证通过] B -- D[季节效应检测] D -- D1[对比同期历史基线] D1 -- D2[分解趋势/周期/残差] D2 -- D3{季节成分显著?} D3 --|是| D4[剔除季节效应br/重新评估真实效果] D3 --|否| D5[确认非季节驱动] B -- E[多指标联合检验] E -- E1[核心指标 护栏指标 反指标] E1 -- E2[自动多重检验校正] C4 -- F[AI 生成综合分析报告] D5 -- F D4 -- F E2 -- F style C3 fill:#E74C3C,color:#fff style D4 fill:#F39C12,color:#000 style F fill:#27AE60,color:#fff二、辛普森悖论的自动检测辛普森悖论的数学本质是总体趋势和分组趋势方向不一致。举个例子更直观用户分层对照组CTR实验组CTR变化新用户(20%)5.0%4.7%-6%活跃用户(50%)8.0%8.2%2.5%流失用户(30%)2.0%2.1%5%总体5.5%5.6%1.8%你看新用户其实是跌的。但因为活跃用户基数大把整体数据带偏了。手工分析如果不做分层拆解很容易得出改版有效全量上线的错误结论。AI 怎么做自动检测# simpson_detector.py — 辛普森悖论自动检测 import pandas as pd import numpy as np from scipy import stats from typing import List, Dict, Tuple class SimpsonParadoxDetector: 自动检测 AB 实验中的辛普森悖论 def __init__(self, significance_level: float 0.05): self.alpha significance_level def detect(self, df: pd.DataFrame, group_col: str experiment_group, metric_col: str ctr, segment_cols: List[str] None) - Dict: 检测辛普森悖论 参数: - df: 实验数据每行一个用户 - group_col: 实验分组列control / treatment - metric_col: 核心指标列 - segment_cols: 用于分层的列如 [user_type, region] 返回: 检测报告包含悖论标记和各层详情 if segment_cols is None: segment_cols [user_type, region, device_type] # 默认三个常用分层 # 1. 计算总体效果 control df[df[group_col] control][metric_col] treatment df[df[group_col] treatment][metric_col] overall_lift (treatment.mean() - control.mean()) / control.mean() # 2. 按各维度逐层计算效果 segment_results {} paradox_flags [] for seg_col in segment_cols: for seg_value in df[seg_col].unique(): seg_control df[ (df[group_col] control) (df[seg_col] seg_value) ][metric_col] seg_treatment df[ (df[group_col] treatment) (df[seg_col] seg_value) ][metric_col] # 样本量太小跳过避免统计不可靠 if len(seg_control) 30 or len(seg_treatment) 30: continue seg_lift (seg_treatment.mean() - seg_control.mean()) / seg_control.mean() # T 检验判断该层是否显著 t_stat, p_value stats.ttest_ind(seg_treatment, seg_control) segment_results[f{seg_col}{seg_value}] { control_mean: seg_control.mean(), treatment_mean: seg_treatment.mean(), lift: seg_lift, p_value: p_value, significant: p_value self.alpha, sample_size: len(seg_control) len(seg_treatment), } # 3. 辛普森悖论检测核心逻辑 # 如果总体提升方向是正但某个显著的分层的提升方向是负 # 或者反过来那就是辛普森悖论 if p_value self.alpha and overall_lift * seg_lift 0: # overall_lift * seg_lift 0 说明两者方向相反 paradox_flags.append({ segment: f{seg_col}{seg_value}, overall_lift: round(overall_lift * 100, 2), segment_lift: round(seg_lift * 100, 2), description: ( f警告总体提升 {overall_lift*100:.1f}% f但 {seg_col}{seg_value} 层提升 {seg_lift*100:.1f}% f方向相反P值{p_value:.4f} ) }) return { overall_lift: round(overall_lift * 100, 2), has_paradox: len(paradox_flags) 0, paradox_details: paradox_flags, segment_breakdown: segment_results, recommendation: ( 建议分层全量发布 if not paradox_flags else f发现{len(paradox_flags)}个辛普森悖论 建议按分层差异化发布或调整策略后重新实验 ) }这个检测器的核心思想是逐层拆解 方向检查。只要某一分层的显著效果方向和总体不一致就标记为潜在悖论。实际使用时建议至少检查三个维度用户类型、设备、地区单维度检测容易漏掉交叉分层的矛盾信号。三、季节效应的自动剥离季节效应是最容易被忽略的 confounding factor。你做了一个优化实验期间正好是月初发工资后消费高峰你把自然波动当成了策略收益。传统检测方法是画时间序列图肉眼判断。AI 可以做得更科学——时间序列分解STL Decomposition# seasonality_detector.py — 季节效应检测与剥离 import pandas as pd import numpy as np from statsmodels.tsa.seasonal import STL from typing import Dict class SeasonalityDetector: 自动检测并剥离季节效应 def detect_and_adjust(self, experiment_data: pd.DataFrame, baseline_data: pd.DataFrame, date_col: str date, metric_col: str ctr) - Dict: 检测季节效应并调整实验效果评估 参数: - experiment_data: 实验期间的数据按天汇总 - baseline_data: 历史基线数据过去6-12个月 - date_col: 日期列 - metric_col: 指标列 # 1. 用历史基线数据做 STL 分解 baseline_series baseline_data.set_index(date_col)[metric_col] # STL 分解把时间序列拆成 趋势(Trend) 季节(Seasonal) 残差(Residual) # period7 表示以周为周期工作日/周末模式 # 为什么选 period7 而不是 30因为周周期比月周期更稳定 stl STL(baseline_series, period7) result stl.fit() # 提取季节成分 seasonal_component result.seasonal # 周一到周日的固有波动模式 # 2. 检查实验期间的季节强度 # 用实验数据的方差 / 去季节后数据的方差看季节成分贡献了多少波动 total_var np.var(experiment_data[metric_col]) detrended experiment_data[metric_col] - result.trend[-len(experiment_data):] seasonal_var np.var(detrended) seasonality_strength seasonal_var / total_var if total_var 0 else 0 # 3. 对实验数据去季节化 # 从实验数据中减去对应日期的季节成分 experiment_data[date_dow] pd.to_datetime( experiment_data[date_col] ).dt.dayofweek # 为每个工作日构建季节调整因子 # 基准过去一年的每周同一天的平均偏差 adjustment_factors {} for dow in range(7): # 取所有同一星期几的历史数据中位数作为季节因子 dow_data baseline_data[ pd.to_datetime(baseline_data[date_col]).dt.dayofweek dow ] adjustment_factors[dow] dow_data[metric_col].median() # 用整体中位数归一化调整因子 overall_median baseline_data[metric_col].median() for dow in adjustment_factors: # 季节因子 1 表示该星期几天然偏高 # 季节因子 1 表示该星期几天然偏低 adjustment_factors[dow] / overall_median # 4. 调整实验数据 experiment_data[adjusted_metric] experiment_data.apply( lambda row: row[metric_col] / adjustment_factors.get( pd.to_datetime(row[date_col]).dayofweek, 1 ), axis1 ) # 5. 重新评估实验效果 raw_effect experiment_data[metric_col].mean() adjusted_effect experiment_data[adjusted_metric].mean() # 如果调整前后差异 10%说明季节效应显著 adjustment_impact abs(raw_effect - adjusted_effect) / raw_effect return { seasonality_strength: round(seasonality_strength * 100, 1), raw_effect: round(raw_effect, 4), adjusted_effect: round(adjusted_effect, 4), adjustment_impact: round(adjustment_impact * 100, 1), adjustment_factors: { str(dow): round(factor, 3) for dow, factor in adjustment_factors.items() }, warning: ( f季节效应显著贡献{seasonality_strength*100:.1f}%波动 f调整后效果变化{adjustment_impact*100:.1f}% 建议延长实验周期覆盖完整季节波动 ) if seasonality_strength 0.3 else 季节效应不显著 }四、多指标联合检验别只看一个指标做 AB 实验只盯着一个核心指标就像体检只量身高——你漏掉了太多重要信息。AI 的分层检测加上这些辅助维度能帮你看出指标 A 涨了但指标 B 跌了或者大屏看涨了小屏看跌了这些隐藏信息避免只看一个指标被误导。我们的 AI 分析引擎会同时对这三类指标做检验指标类别示例预期行为核心指标CTR、转化率、GMV希望提升护栏指标页面加载时间、错误率不能恶化反指标退款率、客服咨询量不应显著变化# multi_metric.py — 多指标联合检验 多重检验校正 def multi_metric_check(self, df: pd.DataFrame, metrics: Dict[str, List[str]]) - Dict: 多指标联合检验自动 Bonferroni 校正 results {} # 收集所有指标的 p 值用于多重检验校正 all_pvalues [] metric_pvalue_map {} for category, metric_list in metrics.items(): for metric in metric_list: control_vals df[df[group] control][metric] treatment_vals df[df[group] treatment][metric] t_stat, p_value stats.ttest_ind(treatment_vals, control_vals) all_pvalues.append(p_value) metric_pvalue_map[metric] p_value lift ((treatment_vals.mean() - control_vals.mean()) / control_vals.mean()) results[metric] { category: category, control_mean: round(control_vals.mean(), 4), treatment_mean: round(treatment_vals.mean(), 4), lift: round(lift * 100, 2), raw_p_value: round(p_value, 6), } # Bonferroni 校正当同时检验多个指标时显著性阈值要收紧 # 为什么如果检验20个指标每个用p0.05纯随机有64%概率至少一个显著 n_tests len(all_pvalues) adjusted_alpha self.alpha / n_tests # 0.05 / 20 0.0025 for metric, result in results.items(): raw_p metric_pvalue_map[metric] result[adjusted_significant] raw_p adjusted_alpha result[bonferroni_threshold] round(adjusted_alpha, 6) return results五、总结AI 辅助 AB 实验分析不是在替代分析师而是在给分析师配了一个不会累的检查员——自动逐层拆解数据、自动检测矛盾信号、自动剥离外部干扰。三个自动检测的优先级辛普森悖论— 优先搞因为方向性错误最致命季节效应— 如果实验超过一周必须查多指标联合检验— 每次都跑相当于常规血检用上这套工具后我们组再也没有出现过实验结果好看但一上线就崩的惨案了。因为 AI 会在你拍板全量之前把隐藏的坑都挖出来摆在桌面上。我是朱大喜一个被 AB 实验结果骗过三次才学乖的数据分析师。你遇到过最离谱的 AB 实验翻车是什么评论区我来帮你诊断~最后提醒一点这个方案在上生产之前建议先用灰度流量验证一周确认资源消耗在预期范围内再全量推送。我们在实际项目中因为跳过了这步有一次把缓存集群打挂了教训深刻。