论文精读：基于深度学习和年度结果增强的东北水稻长时序制图（1985-2023）

基于深度学习和年度结果增强的东北水稻长时序制图1985-2023zhang, zihui; Xia, Lang; Zhao, Fen; Gu, Yue; Yang, Jing; Zha, Yan; et al. (2024). Long history paddy rice mapping across Northeast China with deep learning and annual result enhancement method. figshare. Dataset. https://doi.org/10.6084/m9.figshare.27604839.v1张子惠; 夏朗; 赵芬; 古越; 杨静; 查岩; 等. (2024). 基于深度学习和年度结果增强方法的长时段中国东北地区水稻制图. figshare. 数据集. https://doi.org/10.6084/m9.figshare.27604839.v1一、研究背景与核心挑战水稻是全球半数以上人口的主粮准确掌握其长时序空间分布对粮食安全评估、农业政策制定和温室气体排放核算至关重要。东北三省及内蒙古东部是中国重要的水稻生产基地近几十年来种植面积急剧扩张但高精度、年际一致的长时序水稻分布图仍然缺乏。现有方法的痛点传统机器学习如XGBoost/SVM依赖人工特征提取在复杂种植系统下区分水稻与其他作物能力有限物候法基于光谱指数如NDVI阈值判断受云雨影响易产生时间序列中断深度学习中的RNN/LSTM依赖连续无云时序数据而Landsat在东北地区云覆盖严重很难获得完整物候曲线语义分割模型输入灵活但年度制图时通常采用“多时相叠加法”任意时相检测为水稻则最终为水稻忽略了不同物候期水稻光谱/纹理特征的巨大差异以及模型置信度的差异导致误差累积本文核心创新跨传感器训练数据集构建包含Landsat 5 TM和Landsat 8/9 OLI共155景的高质量水稻标签首次实现跨传感器长时序1985–2023水稻制图FRNet全分辨率网络一种轻量级语义分割网络通过多分辨率特征融合保留空间细节适合处理Landsat图像ARE年度结果增强方法利用模型输出的类别概率自动选择年内各时相中置信度最高即|P-0.5|最大的时相结果作为年度最终图有效抑制误差传播创新点创新点1跨传感器训练数据集构建策略传统问题Landsat 5 TM和Landsat 8 OLI光谱响应函数不同直接用TM训练的模型预测OLI影像F1会从0.85暴跌至0.48。以往研究要么回避长时序跨传感器只用单一传感器要么用直方图匹配等简单校正效果有限。本文创新主动构建包含两种传感器影像的混合训练集从TM和OLI中各选取代表性场景通过XGBoost初步分类目视校正得到155景高质量标签。系统评估9种训练/测试组合表4证明混合训练TMOLI测试混合数据时F10.84接近同传感器精度而仅用单传感器训练微调的方法效果差F1≈0.67–0.70。核心结论长时序跨传感器制图必须将不同传感器的样本在训练阶段就混合而非靠后处理校正。这为所有长时序遥感产品提供了方法论参考。创新点2FRNet中的MRFU多分辨率特征融合单元传统语义分割网络如U-Net, DeepLab通过编码器-解码器结构逐步降采样再上采样导致空间细节损失边缘模糊、小地块丢失。虽然U-Net有跳跃连接但深层特征仍丢失大量细节。本文创新MRFU设计每个单元同时维持两条流水平流保持原始分辨率用1×1卷积调整通道保留空间细节。垂直流步长2卷积降采样捕捉更大感受野的语义通道数加倍再通过转置卷积恢复到原分辨率。两条流相加融合使得输出特征图始终保留高分辨率避免了下采样的不可逆损失。轻量级相比DeepLabV3的ASPP空洞空间金字塔池化和U-Net的多层上采样MRFU参数量小计算快适合Landsat这种中等数据量场景。创新点3ARE年度结果增强方法 —— 基于置信度最大化的时相选择传统做法一年内有多张影像时采用“叠加法”OR——只要任一时相被分类为水稻最终就标为水稻。问题在于某些时相如幼苗期模型容易误判错误被永久保留。本文创新模型输出每个像元的类别概率Psigmoid输出0~1。定义置信度 |P - 0.5|该值越大表示模型越确定接近0或1。对一年内的m个时相选出置信度最大的时相t argmax(|P_i - 0.5|)。最终结果 (P_t ≥ 0.5 ? 水稻 : 非水稻)。为什么有效水稻在不同物候期的光谱可分性不同抽穗期最典型幼苗期易混。模型在抽穗期输出的概率往往接近0.9–0.99置信度≈0.4–0.49在幼苗期可能只有0.6置信度≈0.1。ARE自动选择抽穗期结果。相比直接取平均或投票ARE保留了单时相的最佳判别能力同时抑制了低质量预测。定量提升相比叠加法OA提升6%F1提升5%MCC提升13%MCC是更严格的指标对不平衡数据敏感。创新点4长时序缺失像素填补策略问题Landsat历史数据中云污染导致某些年份、某些区域在水稻生长季内没有任何一景无云影像。缺失像素不能直接留空。本文方法虽未在方法部分大书特书但在结果中说明对于缺失年用前后年份的“良好观测”影像进行时间插补。具体来说基于前后两年中同一位置的水稻类别假设水稻种植稳定性较高并结合邻近像元的空间信息填补缺失值。同时生成年际云覆盖掩模图标注每个像素的观测来源年份让使用者了解数据可靠性。创新点这是首个在东北水稻长时序制图中明确处理“多年无云影像缺失”并给出填补方法和不确定性指示的产品。二、核心技术方法详解2.1 数据获取与预处理卫星数据美国地质调查局USGS提供的Landsat Collection 2 Level-2地表反射率产品共13,809景覆盖1985–2023年。使用Landsat 5 TM1985–2011和Landsat 8/9 OLI2013–2023Landsat 7因条带噪声被排除。波段选择蓝、绿、红、近红外NIR、短波红外1SWIR1、短波红外2SWIR2共6个波段30 m分辨率。影像筛选选取每年水稻生长季5–9月内云量较少的影像每个地区每年尽量获取多时相影像。2.2 跨传感器训练数据集构建由于Landsat 5 TM和Landsat 8/9 OLI在光谱响应范围和辐射定标上存在差异直接用单传感器模型预测另一传感器影像会出现精度骤降。构建流程从Landsat影像中人工选取水稻/非水稻的感兴趣区ROI用XGBoost模型初步分类获得初始水稻分布图通过目视解译逐景人工校正得到高精度标签共获得155景覆盖不同年份、不同季节的标签影像图1c,d按照3:1比例划分为训练集和验证集跨传感器训练策略作者对比了9种训练/测试组合表4发现使用单一传感器训练测试另一传感器时F1仅0.48–0.53组合2,3使用混合传感器TMOLI共同训练测试混合数据时F10.84组合7结论长时序跨传感器制图必须建立包含所有传感器样本的混合训练集迁移学习效果有限2.3 FRNet全分辨率语义分割网络FRNet是一种专门针对遥感图像设计的语义分割网络核心目标是在深层网络中保留空间细节避免传统编码-解码结构导致边缘模糊。核心模块MRFU多分辨率特征融合单元MRFU包含两个并行分支水平流保持原始空间分辨率通过恒等映射保留细节垂直流空间分辨率减半步长2卷积通道数加倍捕获更全局的语义信息两个分支通过3×3卷积、批归一化BN和ReLU激活后融合。网络优势结构简单参数量少训练速度快避免梯度消失问题无深层编码器-解码器级联输出特征图始终保持较高分辨率适合精细农业地块边界分割损失函数Dice Loss天然处理正负样本不平衡水稻像素通常远少于非水稻Dice Loss 1 − 2 ∣ A ∩ B ∣ ∣ A ∣ ∣ B ∣ \text{Dice Loss} 1 - \frac{2|A \cap B|}{|A||B|}Dice Loss1−∣A∣∣B∣2∣A∩B∣​训练设置框架Keras 2.5 TensorFlow 2.6GPUNVIDIA RTX 3090优化器Adam学习率0.001批大小8图像切块256×256无重叠数据增强随机旋转5°2.4 ARE年度结果增强方法核心创新点问题定义一年内同一地区可能有多个时相的Landsat影像例如6月、7月、8月。常规做法式1是只要任一时相检测为水稻年度结果就标为水稻OR叠加法。这会导致某个时相因云影、物候未完全发育等因素产生误判错误的水稻标签被永久保留不同时相模型置信度差异被忽略ARE方法原理式2对于一年内的m张影像模型输出每个像元属于“水稻”类别的概率P_i范围0~1。定义置信度C_i |P_i - 0.5|该值越大表示模型越确定接近0或1。ARE方法找出置信度最大的时相tt arg ⁡ max ⁡ i ( ∣ P i − 0.5 ∣ ) , i ∈ [ 1 , m ] t \arg\max_i \big( |P_i - 0.5| \big),\quad i \in [1, m]targimax​(∣Pi​−0.5∣),i∈[1,m]然后将该时相的类别概率阈值化得到最终结果Result ( x , y ) { paddy if P t ( x , y ) ≥ 0.5 non-paddy otherwise \text{Result}(x,y) \begin{cases} \text{paddy} \text{if } P_t(x,y) \ge 0.5 \\ \text{non-paddy} \text{otherwise} \end{cases}Result(x,y){paddynon-paddy​ifPt​(x,y)≥0.5otherwise​直观理解选择模型“最有把握”的那个物候期来做决策。例如水稻在抽穗期7–8月光谱特征最典型模型概率往往接近1而在幼苗期5–6月可能混有其他湿生植被概率在0.6左右。ARE会自动选择高置信度时相避免低质量预测污染最终图。效果提升与传统叠加法相比OA提高6%F1提高5%MCC提高13%表2显著消除椒盐噪声地块边界更清晰图4三、核心代码实现示例3.1 FRNet的MRFU模块Keras/TensorFlowimporttensorflowastffromtensorflow.kerasimportlayers,ModeldefMRFU(input_tensor,filters): 多分辨率特征融合单元 input_tensor: 输入特征图 (H, W, C) filters: 输出通道数 # 水平流保持分辨率1x1卷积调整通道horizontallayers.Conv2D(filters,1,paddingsame)(input_tensor)horizontallayers.BatchNormalization()(horizontal)horizontallayers.ReLU()(horizontal)# 垂直流步长2下采样通道数加倍verticallayers.Conv2D(filters*2,3,strides2,paddingsame)(input_tensor)verticallayers.BatchNormalization()(vertical)verticallayers.ReLU()(vertical)# 上采样恢复分辨率verticallayers.Conv2DTranspose(filters,3,strides2,paddingsame)(vertical)verticallayers.BatchNormalization()(vertical)verticallayers.ReLU()(vertical)# 融合outputlayers.Add()([horizontal,vertical])returnoutputdefFRNet(input_shape(256,256,6)): 简化的FRNet结构包含3个MRFU和输出层 inputslayers.Input(shapeinput_shape)# 初始卷积xlayers.Conv2D(32,3,paddingsame)(inputs)xlayers.BatchNormalization()(x)xlayers.ReLU()(x)# 3个MRFU模块xMRFU(x,64)xMRFU(x,128)xMRFU(x,256)# 输出层1通道二分类xlayers.Conv2D(1,1,paddingsame,activationsigmoid)(x)modelModel(inputs,x)returnmodel# 编译modelFRNet()model.compile(optimizertf.keras.optimizers.Adam(0.001),losstf.keras.losses.BinaryCrossentropy(),# 配合sigmoid输出metrics[accuracy])3.2 ARE方法实现importnumpyasnpdefapply_are(prob_maps): 年度结果增强ARE方法 prob_maps: list of 2D numpy arrays每个元素是模型输出的水稻概率图 (H, W)值域[0,1] return: 最终二值水稻图 (H, W)1表示水稻0表示非水稻 # 堆叠概率图: (m, H, W)prob_stacknp.stack(prob_maps,axis0)# 计算每个像素每个时相的置信度 |P - 0.5|confidencenp.abs(prob_stack-0.5)# (m, H, W)# 选出置信度最高的时相索引best_idxnp.argmax(confidence,axis0)# (H, W)# 根据最佳时相的概率决定类别# 构建与prob_maps形状相同的索引数组h,wprob_maps[0].shape resultnp.zeros((h,w),dtypenp.uint8)foriinrange(h):forjinrange(w):best_tbest_idx[i,j]ifprob_stack[best_t,i,j]0.5:result[i,j]1returnresult# 示例一年内三个时相的预测概率prob_junenp.random.rand(512,512)# 6月prob_julynp.random.rand(512,512)# 7月prob_augnp.random.rand(512,512)# 8月final_riceapply_are([prob_june,prob_july,prob_aug])3.3 跨传感器训练数据准备关键步骤importrasterioimportnumpyasnpfromsklearn.model_selectionimporttrain_test_splitdefprepare_cross_sensor_training(landsat5_paths,landsat8_paths,label_paths): 将Landsat5和Landsat8影像及其标签统一处理为训练样本 假设所有影像已重采样至30m并配准 X_all[]y_all[]# 处理Landsat5影像forimg_path,lbl_pathinzip(landsat5_paths,label_paths):withrasterio.open(img_path)assrc:imgsrc.read([1,2,3,4,5,6])# 蓝绿红NIR SWIR1 SWIR2imgnp.transpose(img,(1,2,0))# (H,W,6)withrasterio.open(lbl_path)assrc_lbl:lblsrc_lbl.read(1)# 单波段标签1水稻0非水稻# 切块256x256h,w,_img.shapeforiinrange(0,h,256):forjinrange(0,w,256):img_patchimg[i:i256,j:j256]lbl_patchlbl[i:i256,j:j256]ifimg_patch.shape[0]256andimg_patch.shape[1]256:X_all.append(img_patch)y_all.append(lbl_patch)# 同样处理Landsat8影像可合并# ...X_allnp.array(X_all,dtypenp.float32)y_allnp.array(y_all,dtypenp.float32)# 归一化反射率0-1X_allX_all/10000.0# Landsat反射率缩放因子# 划分训练/验证X_train,X_val,y_train,y_valtrain_test_split(X_all,y_all,test_size0.25,random_state42)returnX_train,X_val,y_train,y_val3.4 完整训练流程# 加载跨传感器数据train_imgs,val_imgs,train_masks,val_masksprepare_cross_sensor_training(...)# 构建模型modelFRNet(input_shape(256,256,6))model.compile(optimizeradam,lossbinary_crossentropy,metrics[accuracy])# 训练使用Dice Loss替代二分类交叉熵可选fromtensorflow.kerasimportbackendasKdefdice_loss(y_true,y_pred):smooth1e-6intersectionK.sum(y_true*y_pred)return1-(2.*intersectionsmooth)/(K.sum(y_true)K.sum(y_pred)smooth)model.compile(optimizeradam,lossdice_loss)# 训练historymodel.fit(train_imgs,train_masks,validation_data(val_imgs,val_masks),batch_size8,epochs50,callbacks[tf.keras.callbacks.ModelCheckpoint(frnet_best.h5,save_best_onlyTrue)])四、关键实验结果4.1 ARE方法提升显著方法OAF1MCC单时相平均0.730.770.45叠加法OR0.850.880.68ARE本文0.910.930.81ARE相比叠加法MCC从0.68提升至0.81提升13%说明消除了大量错误预测。4.2 最终数据集精度表3水稻的用户精度UA0.93水稻的生产者精度PA0.91总体精度OA0.91F1得分0.92Matthews相关系数MCC0.824.3 跨传感器训练必要性表4训练集测试集F1Landsat5Landsat50.85Landsat5Landsat80.48Landsat8Landsat50.53Landsat5Landsat8Landsat5Landsat80.84结论单一传感器模型无法泛化到另一传感器必须使用跨传感器混合训练集。4.4 长时序变化1985–2023总种植面积从1.11万km²扩张至6.45万km²增长4.81倍净增5.34万km²黑龙江省贡献最大4.33万km²辽宁省增长最缓慢扩张主要发生在三江平原、松嫩平原等区域呈“北扩东进”趋势五、局限性与未来方向当前局限混合像元影响30m分辨率下稻田边界存在混合像元虽用面积比例法计算混淆矩阵但仍有不确定性单张影像时年如果某年某地仅有一景无云影像ARE退化为单时相精度提升有限早期验证数据不足1985–2001年缺乏高分辨率影像和实地数据仅用农业统计数据进行面积验证未来方向结合Sentinel-1 SAR数据填补云覆盖严重区域引入自监督/半监督学习减少对人工标注的依赖将ARE扩展为“概率加权融合”而非硬选最大置信度构建全国乃至全球尺度的长时序水稻数据集六、数据与代码获取水稻分布图1985–202330mFigshare https://doi.org/10.6084/m9.figshare.27604839.v1GeoTIFF格式1水稻0非水稻EPSG:4326FRNet代码Zenodo https://doi.org/10.5281/zenodo.17744587训练标签数据集Figshare https://doi.org/10.6084/m9.figshare.28283606原始Landsat数据USGS EarthExplorer https://earthexplorer.usgs.gov/七、总结本文首次实现了中国东北地区1985–2023年连续39年、30m空间分辨率的水稻年际动态制图。核心贡献在于构建跨传感器Landsat 5 TM Landsat 8/9 OLI的训练样本集解决了不同传感器特征分布差异导致的模型失效问题提出ARE方法利用模型输出的类别概率自动选择年内最优时相比传统叠加法F1提升5%揭示了东北水稻种植面积近40年扩张4.8倍的时空演变规律为农业政策制定和温室气体清单提供关键基础数据该方法可推广至其他长时序作物制图任务如玉米、大豆、小麦只需替换训练标签并调整物候参数即可。