别再只用Excel了！用Python+Pandas+Sklearn玩转GTD恐怖袭击数据分析与预测

用PythonPandasSklearn玩转GTD恐怖袭击数据分析与预测当面对GTD这类包含数万条记录的复杂数据集时Excel往往会显得力不从心。本文将带你用Python数据科学生态中的三大神器——Pandas、Matplotlib和Scikit-learn从数据清洗到机器学习建模完整实现恐怖袭击数据的深度分析。1. 环境准备与数据加载在开始分析前我们需要配置合适的Python环境。推荐使用Anaconda创建独立环境conda create -n gtd-analysis python3.8 conda activate gtd-analysis pip install pandas numpy matplotlib seaborn scikit-learn jupyterGTD数据集通常以CSV格式提供我们可以直接从START联盟官网下载。假设我们已经获得了名为global_terrorism.csv的数据文件import pandas as pd # 加载数据时指定低内存模式以避免内存溢出 gtd pd.read_csv(global_terrorism.csv, encodingISO-8859-1, low_memoryFalse) print(f数据集维度: {gtd.shape})初次加载后建议快速浏览数据结构# 查看前3行样本 print(gtd.head(3)) # 检查列数据类型 print(gtd.dtypes.value_counts()) # 统计缺失值比例 missing_stats (gtd.isnull().sum()/len(gtd)).sort_values(ascendingFalse) print(missing_stats.head(10))2. 数据清洗与特征工程原始GTD数据包含超过100个字段我们需要进行针对性的清洗和特征选择。2.1 关键字段提取根据分析目标我们首先筛选核心字段selected_cols [ iyear, imonth, iday, country_txt, region_txt, provstate, city, latitude, longitude, attacktype1_txt, targtype1_txt, targsubtype1_txt, weaptype1_txt, weapsubtype1_txt, nkill, nwound, gname, claimed, success, suicide ] gtd_clean gtd[selected_cols].copy()2.2 缺失值处理针对不同字段采取差异化处理策略# 地理位置信息用Unknown填充 geo_cols [provstate, city] gtd_clean[geo_cols] gtd_clean[geo_cols].fillna(Unknown) # 数值型字段用中位数填充 num_cols [nkill, nwound] gtd_clean[num_cols] gtd_clean[num_cols].fillna(gtd_clean[num_cols].median()) # 分类字段用众数填充 cat_cols [attacktype1_txt, targtype1_txt, weaptype1_txt] for col in cat_cols: gtd_clean[col] gtd_clean[col].fillna(gtd_clean[col].mode()[0])2.3 特征衍生创建有助于分析的新特征# 合并日期字段 gtd_clean[date] pd.to_datetime( gtd_clean[iyear].astype(str) - gtd_clean[imonth].astype(str) - gtd_clean[iday].astype(str), errorscoerce ) # 计算伤亡总数 gtd_clean[casualties] gtd_clean[nkill] gtd_clean[nwound] # 创建是否重大事件标志(伤亡超过50人) gtd_clean[major_incident] (gtd_clean[casualties] 50).astype(int)3. 探索性数据分析(EDA)3.1 时间趋势分析使用Pandas的时间序列功能分析攻击频率变化import matplotlib.pyplot as plt import seaborn as sns plt.figure(figsize(12, 6)) gtd_clean.groupby(iyear).size().plot(label总事件数) gtd_clean[gtd_clean[major_incident]1].groupby(iyear).size().plot(label重大事件数) plt.title(恐怖袭击事件年度趋势(1970-2017)) plt.xlabel(年份) plt.ylabel(事件数量) plt.legend() plt.show()3.2 地理分布分析绘制全球恐怖袭击热点地图import geopandas as gpd from shapely.geometry import Point # 创建地理坐标点 geometry [Point(xy) for xy in zip(gtd_clean[longitude], gtd_clean[latitude])] geo_gtd gpd.GeoDataFrame(gtd_clean, geometrygeometry) # 加载世界地图数据 world gpd.read_file(gpd.datasets.get_path(naturalearth_lowres)) # 绘制基础地图 base world.plot(colorlightgray, edgecolorwhite, figsize(15, 8)) # 叠加恐怖袭击事件 geo_gtd.plot(axbase, markero, colorred, markersize2, alpha0.3) plt.title(全球恐怖袭击事件地理分布(1970-2017)) plt.show()3.3 攻击类型与目标分析使用交叉分析探索攻击模式# 创建攻击类型-目标类型交叉表 cross_tab pd.crosstab( gtd_clean[attacktype1_txt], gtd_clean[targtype1_txt], normalizeindex ) plt.figure(figsize(12, 8)) sns.heatmap(cross_tab, cmapYlOrRd, annotTrue, fmt.1%) plt.title(攻击类型与目标类型的关联分析) plt.xlabel(目标类型) plt.ylabel(攻击类型) plt.show()4. 机器学习建模与应用4.1 数据预处理为机器学习模型准备特征矩阵from sklearn.preprocessing import LabelEncoder, StandardScaler from sklearn.model_selection import train_test_split # 选择建模特征 model_features [ iyear, imonth, country_txt, region_txt, attacktype1_txt, targtype1_txt, weaptype1_txt, latitude, longitude ] # 创建建模数据集 model_data gtd_clean[model_features [success]].dropna() # 编码分类变量 label_encoders {} for col in [country_txt, region_txt, attacktype1_txt, targtype1_txt, weaptype1_txt]: le LabelEncoder() model_data[col] le.fit_transform(model_data[col]) label_encoders[col] le # 划分训练测试集 X model_data.drop(success, axis1) y model_data[success] X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.3, random_state42) # 特征标准化 scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_test_scaled scaler.transform(X_test)4.2 K-Means聚类分析探索恐怖袭击事件的自然分组from sklearn.cluster import KMeans from sklearn.metrics import silhouette_score # 寻找最佳K值 silhouette_scores [] for k in range(2, 10): kmeans KMeans(n_clustersk, random_state42) kmeans.fit(X_train_scaled) score silhouette_score(X_train_scaled, kmeans.labels_) silhouette_scores.append(score) plt.plot(range(2, 10), silhouette_scores, markero) plt.xlabel(聚类数量(K)) plt.ylabel(轮廓系数) plt.title(K-Means聚类性能评估) plt.show() # 使用最佳K值训练模型 optimal_k silhouette_scores.index(max(silhouette_scores)) 2 final_kmeans KMeans(n_clustersoptimal_k, random_state42) clusters final_kmeans.fit_predict(X_train_scaled) # 分析聚类特征 cluster_profile X_train.copy() cluster_profile[cluster] clusters cluster_means cluster_profile.groupby(cluster).mean() print(cluster_means)4.3 KNN分类预测构建攻击结果预测模型from sklearn.neighbors import KNeighborsClassifier from sklearn.metrics import classification_report, accuracy_score # 训练KNN模型 knn KNeighborsClassifier(n_neighbors5) knn.fit(X_train_scaled, y_train) # 模型评估 y_pred knn.predict(X_test_scaled) print(f模型准确率: {accuracy_score(y_test, y_pred):.2f}) print(classification_report(y_test, y_pred)) # 特征重要性分析 feature_importance pd.DataFrame({ feature: X_train.columns, importance: knn.feature_importances_ }).sort_values(importance, ascendingFalse) print(feature_importance)5. 分析结果可视化与解读5.1 聚类结果地理映射将K-Means聚类结果映射到地理空间# 为原始数据添加聚类标签 gtd_clean[cluster] final_kmeans.predict( scaler.transform( model_data[model_features].drop(success, axis1) ) ) # 绘制聚类地图 plt.figure(figsize(15, 8)) for cluster in range(optimal_k): cluster_data gtd_clean[gtd_clean[cluster] cluster] plt.scatter( cluster_data[longitude], cluster_data[latitude], s5, labelfCluster {cluster}, alpha0.5 ) plt.title(恐怖袭击事件聚类地理分布) plt.xlabel(经度) plt.ylabel(纬度) plt.legend() plt.show()5.2 时间序列预测使用历史数据预测未来趋势from statsmodels.tsa.arima.model import ARIMA # 准备时间序列数据 time_series gtd_clean.groupby(iyear).size() # 训练ARIMA模型 model ARIMA(time_series, order(2,1,2)) model_fit model.fit() # 预测未来5年 forecast model_fit.forecast(steps5) # 可视化结果 plt.figure(figsize(12, 6)) time_series.plot(label历史数据) forecast.plot(label预测值, style--) plt.title(恐怖袭击事件数量预测(ARIMA模型)) plt.xlabel(年份) plt.ylabel(事件数量) plt.legend() plt.show()在实际项目中我发现特征工程的质量往往比模型选择更重要。例如通过添加是否为冲突地区的衍生特征KNN模型的准确率提升了约8%。此外处理GTD数据时特别需要注意异常值的影响——某些极端事件会显著扭曲统计结果。