别再只盯着PCA了！用Python手把手实现Fisher判别分析（FDA），轻松搞定二分类特征提取

用Python实战Fisher判别分析二分类问题的特征提取利器当我们在Kaggle竞赛或业务分析中遇到客户流失预测这样的二分类问题时如何从数十个甚至上百个特征中提取最具判别力的信息大多数数据科学从业者的第一反应可能是PCA主成分分析但今天我要介绍一个更针对分类任务的强大工具——Fisher判别分析FDA。与PCA不同FDA是一种有监督的降维方法它专门优化了类别分离度在分类任务中往往能带来更好的效果。1. 为什么选择FDA而非PCAPCA和FDA都是线性降维技术但它们的优化目标截然不同。PCA是一种无监督方法目标是找到数据方差最大的方向而FDA则是有监督方法专门寻找能够最大化类别区分度的投影方向。关键区别对比特性PCAFDA监督性无监督有监督优化目标最大化方差最大化类间/类内散度比适用场景通用降维分类任务的特征提取数学基础协方差矩阵散度矩阵提示当你的目标是分类而非单纯的数据可视化或压缩时FDA通常是更好的选择。在实际项目中我发现FDA特别适合以下场景特征数量适中但存在大量冗余类别边界相对线性可分需要提取1-2个最具判别力的特征维度2. FDA的数学直觉与实现步骤Fisher判别分析的核心思想可以用类内紧、类间散来概括。具体来说它试图找到一个投影方向使得同一类别的数据点尽可能聚集小方差不同类别的均值尽可能远离大距离数学实现步骤计算每个类别的均值向量mean_vectors [] for cl in range(2): # 假设是二分类问题 mean_vectors.append(np.mean(X[ycl], axis0))计算类内散度矩阵S_WS_W np.zeros((X.shape[1], X.shape[1])) for cl, mv in zip(range(2), mean_vectors): class_sc_mat np.zeros((X.shape[1], X.shape[1])) for row in X[y cl]: row, mv row.reshape(X.shape[1],1), mv.reshape(X.shape[1],1) class_sc_mat (row - mv).dot((row - mv).T) S_W class_sc_mat计算类间散度矩阵S_Boverall_mean np.mean(X, axis0).reshape(X.shape[1],1) S_B np.zeros((X.shape[1], X.shape[1])) for i, mean_vec in enumerate(mean_vectors): n X[yi].shape[0] mean_vec mean_vec.reshape(X.shape[1],1) S_B n * (mean_vec - overall_mean).dot((mean_vec - overall_mean).T)求解广义特征值问题eig_vals, eig_vecs np.linalg.eig(np.linalg.inv(S_W).dot(S_B))选择最优投影方向对应最大特征值的特征向量eig_pairs [(np.abs(eig_vals[i]), eig_vecs[:,i]) for i in range(len(eig_vals))] eig_pairs sorted(eig_pairs, keylambda k: k[0], reverseTrue) W np.hstack((eig_pairs[0][1].reshape(X.shape[1],1), eig_pairs[1][1].reshape(X.shape[1],1)))3. 完整Python实现与可视化让我们使用经典的鸢尾花数据集来演示完整的FDA流程。虽然这是一个三分类问题但我们可以先关注两个类别setosa和versicolor来简化问题。数据准备from sklearn.datasets import load_iris import numpy as np import matplotlib.pyplot as plt iris load_iris() X iris.data y iris.target # 只取前两个类别setosa和versicolor X X[y ! 2] y y[y ! 2]实现FDA投影def fisher_discriminant_analysis(X, y): # 计算均值向量 mean_vectors [] for cl in np.unique(y): mean_vectors.append(np.mean(X[ycl], axis0)) # 计算S_W S_W np.zeros((X.shape[1], X.shape[1])) for cl, mv in zip(np.unique(y), mean_vectors): class_sc_mat np.zeros((X.shape[1], X.shape[1])) for row in X[y cl]: row, mv row.reshape(X.shape[1],1), mv.reshape(X.shape[1],1) class_sc_mat (row - mv).dot((row - mv).T) S_W class_sc_mat # 计算S_B overall_mean np.mean(X, axis0).reshape(X.shape[1],1) S_B np.zeros((X.shape[1], X.shape[1])) for i, mean_vec in enumerate(mean_vectors): n X[yi].shape[0] mean_vec mean_vec.reshape(X.shape[1],1) S_B n * (mean_vec - overall_mean).dot((mean_vec - overall_mean).T) # 求解特征值问题 eig_vals, eig_vecs np.linalg.eig(np.linalg.inv(S_W).dot(S_B)) # 选择最优投影方向 eig_pairs [(np.abs(eig_vals[i]), eig_vecs[:,i]) for i in range(len(eig_vals))] eig_pairs sorted(eig_pairs, keylambda k: k[0], reverseTrue) W eig_pairs[0][1].reshape(X.shape[1],1) return X.dot(W) # 应用FDA X_lda fisher_discriminant_analysis(X, y)可视化结果plt.figure(figsize(10,6)) plt.scatter(X_lda[y0], np.zeros(len(X_lda[y0])), colorred, alpha0.5, labelsetosa) plt.scatter(X_lda[y1], np.zeros(len(X_lda[y1])), colorblue, alpha0.5, labelversicolor) plt.title(FDA投影结果) plt.xlabel(FDA方向) plt.legend() plt.show()4. 实战技巧与常见问题在实际应用中我发现以下几个技巧能显著提升FDA的效果数据预处理要点标准化是必须的FDA对特征的尺度敏感处理类别不平衡考虑对少数类进行过采样异常值检测FDA对异常值较为敏感常见问题解决方案奇异矩阵问题当样本数小于特征数时S_W可能不可逆解决方案# 添加小的正则化项 S_W 0.001 * np.eye(S_W.shape[0])多分类扩展FDA天然适用于二分类但可以通过一对多策略扩展到多分类或者直接使用scikit-learn的LDA实现from sklearn.discriminant_analysis import LinearDiscriminantAnalysis lda LinearDiscriminantAnalysis(n_components2) X_lda lda.fit_transform(X, y)非线性数据对于非线性可分数据可以尝试核Fisher判别分析或者先使用核PCA进行非线性变换性能优化技巧对于高维数据先使用PCA降维到适度维度再应用FDA使用scikit-learn的LDA实现比纯Python实现快得多考虑特征选择减少噪声特征的影响5. 业务场景应用客户流失预测案例让我们看一个真实的业务应用场景——电信客户流失预测。假设我们有以下特征客户 demographics年龄、性别等服务使用情况通话时长、流量使用等账单信息月费用、逾期次数等客户服务交互投诉次数、解决时长等应用FDA的步骤数据准备与探索import pandas as pd from sklearn.preprocessing import StandardScaler data pd.read_csv(customer_churn.csv) X data.drop([customer_id, churn_status], axis1) y data[churn_status] # 标准化 scaler StandardScaler() X_scaled scaler.fit_transform(X)应用FDA提取特征from sklearn.discriminant_analysis import LinearDiscriminantAnalysis lda LinearDiscriminantAnalysis(n_components1) X_lda lda.fit_transform(X_scaled, y)分析判别特征# 查看各原始特征在判别方向上的权重 feature_importance pd.DataFrame({ feature: X.columns, importance: np.abs(lda.coef_[0]) }).sort_values(importance, ascendingFalse) print(feature_importance.head(10))构建分类模型from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split # 使用FDA特征 X_train, X_test, y_train, y_test train_test_split( X_lda, y, test_size0.2, random_state42) model LogisticRegression() model.fit(X_train, y_train) print(f测试集准确率: {model.score(X_test, y_test):.2f}) # 对比原始特征 X_train_raw, X_test_raw, y_train, y_test train_test_split( X_scaled, y, test_size0.2, random_state42) model_raw LogisticRegression() model_raw.fit(X_train_raw, y_train) print(f原始特征测试集准确率: {model_raw.score(X_test_raw, y_test):.2f})在这个案例中FDA不仅帮助我们降低了特征维度还提高了分类模型的性能。更重要的是通过分析判别方向的权重我们能够识别出哪些特征对客户流失最具预测力为业务决策提供了宝贵洞见。