从医疗诊断到金融风控：手把手教你用Python玩转UCI经典数据集

从医疗诊断到金融风控手把手教你用Python玩转UCI经典数据集在数据科学领域UCI机器学习数据库就像一座金矿蕴藏着无数真实世界问题的解决方案。这些数据集跨越医疗、金融、零售等多个行业为机器学习实践提供了绝佳的试验场。本文将带你深入三个最具代表性的UCI数据集——乳腺癌诊断、德国信用数据和在线零售通过Python代码实战掌握从数据探索到模型部署的全流程。1. 医疗诊断实战乳腺癌预测模型威斯康星乳腺癌诊断数据集包含569个样本每个样本有30个特征这些特征来自乳腺肿块的细针穿刺(FNA)数字图像计算得出。我们的目标是建立一个能够区分恶性肿瘤恶性和良性肿瘤良性的分类器。1.1 数据加载与探索首先加载必要的Python库并探索数据import pandas as pd import seaborn as sns import matplotlib.pyplot as plt from sklearn.datasets import load_breast_cancer # 加载数据 data load_breast_cancer() df pd.DataFrame(data.data, columnsdata.feature_names) df[target] data.target # 查看数据概况 print(f数据集形状: {df.shape}) print(f特征示例:\n{data.feature_names[:5]}) print(f目标变量分布:\n{df[target].value_counts()})关键统计量表格统计量恶性(0)良性(1)样本数212357占比37.2%62.8%1.2 特征工程与可视化医疗数据通常需要特别关注特征间的相关性# 计算特征相关性 corr_matrix df.corr().abs() # 可视化最重要的10个特征 top_features corr_matrix[target].sort_values(ascendingFalse)[1:11] sns.barplot(xtop_features.values, ytop_features.index) plt.title(与诊断结果最相关的10个特征) plt.show()医疗领域特征工程要点处理高度相关的特征如radius_mean与perimeter_mean标准化不同量纲的特征Z-score或MinMax注意类别不平衡问题本例中良性样本更多1.3 模型构建与评估使用Scikit-learn构建随机森林模型from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report # 准备数据 X df.drop(target, axis1) y df[target] X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) # 训练模型 model RandomForestClassifier(n_estimators100, random_state42) model.fit(X_train, y_train) # 评估 y_pred model.predict(X_test) print(classification_report(y_test, y_pred))医疗模型评估特别关注召回率(Recall)尽量减少漏诊将恶性误判为良性精确率(Precision)避免过度治疗将良性误判为恶性ROC曲线综合考量敏感性和特异性2. 金融风控实战德国信用风险评估德国信用数据集包含1000个样本描述了个人的银行账户状态、信用历史、贷款目的等信息用于预测信用风险好/坏。这个数据集的特点是包含大量类别型特征和少量数值特征。2.1 数据预处理挑战金融数据预处理有其特殊性# 加载数据 url https://archive.ics.uci.edu/ml/machine-learning-databases/statlog/german/german.data columns [status, duration, credit_history, purpose, amount, savings, employment, installment_rate, personal_status, other_debtors, residence_since, property, age, other_installment_plans, housing, existing_credits, job, people_liable, telephone, foreign_worker, target] df pd.read_csv(url, sep , headerNone, namescolumns) # 目标变量编码 (1好, 2坏) df[target] df[target].replace({1:0, 2:1}) # 查看类别型特征 cat_features [col for col in df.columns if df[col].dtype object] print(f类别型特征: {cat_features})金融数据预处理关键步骤处理类别型特征One-Hot编码或目标编码处理缺失值金融数据常见问题特征分箱如将年龄分段处理类别不平衡通常坏样本占少数2.2 特征重要性分析金融风控模型需要强解释性from sklearn.preprocessing import OneHotEncoder from sklearn.compose import ColumnTransformer # 预处理管道 preprocessor ColumnTransformer( transformers[ (num, passthrough, [duration, amount, age]), (cat, OneHotEncoder(), cat_features) ]) X df.drop(target, axis1) y df[target] X_processed preprocessor.fit_transform(X) # 获取特征名称 cat_features_names preprocessor.named_transformers_[cat].get_feature_names_out(cat_features) all_features [duration, amount, age] list(cat_features_names) # 训练模型分析特征重要性 model RandomForestClassifier(random_state42) model.fit(X_processed, y) # 可视化特征重要性 feat_importances pd.Series(model.feature_importances_, indexall_features) top_10 feat_importances.nlargest(10) top_10.plot(kindbarh) plt.title(Top 10 重要特征) plt.show()金融风控重点关注账户状态(status)现有支票账户状态信用历史(credit_history)过去的还款表现贷款金额(amount)贷款额度大小储蓄账户(savings)储蓄账户/债券情况2.3 模型部署考虑金融风控模型部署时需注意模型解释性使用SHAP或LIME解释预测决策阈值调整根据业务需求调整风险阈值监控与迭代持续监控模型表现定期更新3. 零售分析实战在线零售数据集UCI在线零售数据集包含英国在线零售公司8个月的交易数据共541909条记录。我们将分析客户购买行为并构建RFM模型。3.1 数据清洗与转换零售数据清洗是关键步骤# 加载数据 url https://archive.ics.uci.edu/ml/machine-learning-databases/00352/Online%20Retail.xlsx df pd.read_excel(url) # 数据清洗 df df[df[Quantity] 0] # 移除退货 df df[df[UnitPrice] 0] # 移除无效价格 df[TotalPrice] df[Quantity] * df[UnitPrice] df[InvoiceDate] pd.to_datetime(df[InvoiceDate]) # 创建RFM特征 snapshot_date df[InvoiceDate].max() pd.Timedelta(days1) rfm df.groupby(CustomerID).agg({ InvoiceDate: lambda x: (snapshot_date - x.max()).days, InvoiceNo: nunique, TotalPrice: sum }).rename(columns{ InvoiceDate: Recency, InvoiceNo: Frequency, TotalPrice: MonetaryValue })零售数据分析常见问题处理处理异常值如负数的数量或价格处理缺失的客户ID匿名交易处理重复记录货币单位统一如有多种货币3.2 RFM分析与客户分群RFM最近购买时间、购买频率、消费金额是零售分析的核心from sklearn.preprocessing import StandardScaler from sklearn.cluster import KMeans # 数据标准化 scaler StandardScaler() rfm_scaled scaler.fit_transform(rfm) # 使用肘部法则确定最佳聚类数 wcss [] for i in range(1, 11): kmeans KMeans(n_clustersi, random_state42) kmeans.fit(rfm_scaled) wcss.append(kmeans.inertia_) plt.plot(range(1, 11), wcss) plt.title(肘部法则) plt.xlabel(聚类数) plt.ylabel(WCSS) plt.show() # 应用K-Means聚类 kmeans KMeans(n_clusters4, random_state42) rfm[Cluster] kmeans.fit_predict(rfm_scaled) # 分析聚类结果 cluster_analysis rfm.groupby(Cluster).agg({ Recency: mean, Frequency: mean, MonetaryValue: [mean, count] }).round(1) print(cluster_analysis)典型RFM客户分群聚类类型特征营销策略0高价值客户最近购买、高频、高消费忠诚计划、专属优惠1流失风险客户很久未购买、但曾经高价值唤醒活动、特别优惠2新客户最近购买、低频、低消费培育计划、引导复购3低价值客户很久未购买、低频、低消费低成本维护或放弃3.3 销售预测与库存优化使用时间序列预测未来销售# 按日汇总销售数据 daily_sales df.set_index(InvoiceDate)[TotalPrice].resample(D).sum() # 可视化销售趋势 plt.figure(figsize(12, 6)) daily_sales.plot() plt.title(每日销售额趋势) plt.ylabel(销售额) plt.show() # 季节性分解 from statsmodels.tsa.seasonal import seasonal_decompose result seasonal_decompose(daily_sales.fillna(0), modeladditive, period7) result.plot() plt.show()零售预测关键点识别销售周期性周、月、季节处理促销活动的影响考虑产品生命周期结合外部因素如节假日、天气4. 跨行业实战经验与模型优化不同行业数据集有其共性挑战和独特特点。通过这三个案例我们可以总结出一些通用最佳实践和行业特定技巧。4.1 通用机器学习工作流无论哪个行业高质量机器学习项目都应遵循以下步骤业务理解明确问题定义和成功标准确定模型输出如何影响决策数据收集与探索评估数据质量和完整性识别潜在的数据偏差特征工程# 示例创建交互特征 df[feature_interaction] df[feature1] * df[feature2] # 示例分箱处理 df[age_bin] pd.cut(df[age], bins[0, 18, 35, 50, 100], labels[0-18, 19-35, 36-50, 51])模型选择与训练根据问题类型分类/回归和数据特点选择算法使用交叉验证避免过拟合评估与解释选择符合业务目标的评估指标确保模型决策可解释部署与监控建立模型性能监控机制制定模型更新策略4.2 行业特定注意事项不同行业的特殊考虑医疗行业数据隐私和合规要求如HIPAA高误诊成本假阴性比假阳性更严重特征通常来自医学检测解释性要求高金融行业监管合规如公平贷款模型可解释性至关重要需要处理类别不平衡通常坏样本少零售行业数据量大需要高效处理强季节性和促销影响客户行为快速变化模型需频繁更新4.3 高级技巧与优化策略提升模型性能的实用技巧处理类别不平衡from imblearn.over_sampling import SMOTE smote SMOTE(random_state42) X_res, y_res smote.fit_resample(X_train, y_train)自动化特征工程import featuretools as ft es ft.EntitySet(iddata) es es.entity_from_dataframe(entity_idmain, dataframedf, indexid) feature_matrix, feature_defs ft.dfs(entitysetes, target_entitymain, max_depth2)超参数优化from sklearn.model_selection import RandomizedSearchCV param_dist { n_estimators: [100, 200, 300], max_depth: [None, 10, 20, 30], min_samples_split: [2, 5, 10] } search RandomizedSearchCV(estimatormodel, param_distributionsparam_dist, n_iter10, cv5) search.fit(X_train, y_train)模型解释工具import shap explainer shap.TreeExplainer(model) shap_values explainer.shap_values(X_test) shap.summary_plot(shap_values, X_test)4.4 模型部署与生产化将模型投入实际使用的关键步骤模型序列化import joblib joblib.dump(model, model.pkl)创建预测APIfrom flask import Flask, request, jsonify app Flask(__name__) model joblib.load(model.pkl) app.route(/predict, methods[POST]) def predict(): data request.get_json() prediction model.predict([data[features]]) return jsonify({prediction: int(prediction[0])}) if __name__ __main__: app.run(debugTrue)监控与日志记录预测请求和结果监控模型性能衰减设置警报机制持续集成/持续部署(CI/CD)自动化测试灰度发布回滚机制在实际项目中我们发现医疗诊断模型需要更频繁的重新验证而金融风控模型则需要严格的版本控制和审计跟踪。零售预测模型则对实时性要求更高通常需要流式处理架构。