Python 实现气象数据分析（NumPy 切片 + Matplotlib 绘图 + Scikit-learn 回归）

Python 实现气象数据分析（NumPy 切片 + Matplotlib 绘图 + Scikit-learn 回归）本文基于 4 台华为云 FlexusX 服务器（8vCPU/16G，Ubuntu 24.04）并行实操完成，覆盖数据分析三大基础库：NumPy、Pandas、Matplotlib、Scikit-learn。所有代码、数据、配图均已跑通，文末附完整源码与并行方案。一、实验目标与你会学到数据分析的基本流程：生成 / 加载数据 → 清洗切片 → 可视化 → 建模。NumPy：用布尔掩码、整数索引、卷积实现数据切片与滚动统计。Matplotlib：在服务器无界面环境下用Agg后端绘制时序图、柱状图、散点拟合图。Scikit-learn：用线性回归做气温预测，并用R²/MSE评估模型。工程彩蛋：4 台服务器并行处理 4 个城市，效率拉满；以及华为云 ECS 拉取 PyPI 大包“卡死”的离线轮子解法。二、实验环境与并行架构服务器公网 IP分配城市ecs-a16b-0001114.116.249.146北京 Beijingecs-a16b-0004116.205.116.6上海 Shanghaiecs-a16b-0002124.70.93.143广州 Guangzhouecs-a16b-00031.92.74.240成都 Chengdu为什么并行？气象分析是典型的“数据同质、彼此独立”的任务：4 个城市用同一套流水线，只是输入参数不同。把 4 个城市拆到 4 台服务器，用paramiko多线程 SSH 同时上传脚本、执行、回收结果，耗时从“4 × 单机时间”降为“≈ 单机时间”。2.1 环境准备（踩坑实录，必看）Ubuntu 24.04 启用了PEP 668 外部管理环境，直接pip install会被拒。标准做法是建虚拟环境：python3-mvenv /root/venv /root/venv/bin/pipinstallnumpy pandas matplotlib scikit-learn⚠️真实踩坑：华为云 ECS 对 PyPI 官方源的大文件下载（10MB 的 wheel）会被限流卡死——小元数据能下，16.7MB 的 numpy 轮子下不动，现象是pip长时间无任何进度。解法（离线轮子）：在能正常访问镜像的机器上用国内源（清华https://pypi.tuna.tsinghua.edu.cn/simple）把 cp312 的轮子一次性下载好，再用sftp推到每台服务器，最后--no-index离线安装：# 在本地（可联网的机器）下载 cp312 manylinux 轮子pip download --only-binary=:all: --python-version3.12\--platformmanylinux2014_x86_64--abicp312\-ihttps://pypi.tuna.tsinghua.edu.cn/simple\numpy pandas matplotlib scikit-learn-dwheels# 推到服务器后离线安装/root/venv/bin/pipinstall--no-index --find-links /root/wheels\numpy pandas matplotlib scikit-learn这样 4 台服务器都绕开了被限流的出站链路，几十秒装完。三、知识点一：NumPy 数据切片数据为 3 年（1095 天）日度气象序列，核心字段：temp（气温）、humidity（湿度）、month、doy（年内第几天）。temp=df["temp"].to_numpy()# 转 NumPy 数组month=df["month"].to_numpy()# 1) 布尔掩码切片：夏季（6/7/8 月）summer_mask=(month==6)|(month==7)|(month==8)summer_temp=temp[summer_mask]# 2) 冬季切片（12/1/2 月）winter_mask=(month==12)|(month==1)|(month==2)winter_temp