MERRA-2 AOD 数据批量下载：wget 脚本实现 100 次断点续传与认证

MERRA-2 AOD 数据高效下载跨平台自动化解决方案深度解析当科研人员需要批量获取MERRA-2气溶胶光学厚度(AOD)数据时手动下载不仅耗时耗力还容易因网络波动导致前功尽弃。本文将分享一套经过实战检验的自动化下载方案特别针对大文件下载中断、认证繁琐等痛点问题提供完整的跨平台解决方案。1. 环境准备与基础配置在开始自动化下载前需要完成几个关键准备工作。首先确保系统已安装wget工具——Windows用户可通过 官方二进制包 安装Linux/macOS用户通常已预装或可通过包管理器安装如apt-get install wget或brew install wget。认证信息获取步骤访问NASA GES DISC官网注册账号在用户设置页面生成应用专用密码避免使用主密码将凭证信息加密存储推荐使用以下方式# Linux/macOS下加密存储凭证 echo username:your_username ~/.merra2_auth echo password:your_app_specific_password ~/.merra2_auth chmod 600 ~/.merra2_auth注意永远不要将明文密码写入脚本或版本控制系统2. 核心下载脚本解析下面这个增强版脚本实现了断点续传、错误重试和日志记录三大核心功能#!/bin/bash # MERRA-2批量下载脚本 v2.1 MAX_RETRY100 # 最大重试次数 URL_LISTsubset_links.txt # 包含下载链接的文本文件 OUTPUT_DIR./merra2_data # 输出目录 COOKIE_FILE./cookies.txt # Cookie存储路径 LOG_FILEdownload.log # 日志文件 # 从加密文件读取凭证 AUTH$(cat ~/.merra2_auth) USERNAME$(echo $AUTH | grep username | cut -d: -f2) PASSWORD$(echo $AUTH | grep password | cut -d: -f2) # 创建必要目录 mkdir -p $OUTPUT_DIR for url in $(cat $URL_LIST); do filename$(basename $url) echo $(date) - 开始下载: $filename $LOG_FILE for ((i1; i$MAX_RETRY; i)); do wget -c \ --http-user$USERNAME \ --http-passwd$PASSWORD \ --load-cookies $COOKIE_FILE \ --save-cookies $COOKIE_FILE \ --no-check-certificate \ --auth-no-challengeon \ --keep-session-cookies \ --tries3 \ --waitretry30 \ --random-wait \ -O $OUTPUT_DIR/$filename \ $url 2 $LOG_FILE if [ $? -eq 0 ]; then echo $(date) - 下载成功: $filename (尝试 $i 次) $LOG_FILE break else echo $(date) - 下载失败: $filename (尝试 $i/$MAX_RETRY) $LOG_FILE sleep $((RANDOM % 60 30)) # 随机等待30-90秒 fi done done关键参数说明表参数作用推荐值注意事项-c断点续传始终启用需确保服务器支持--tries单次下载重试次数3-5过高会延长失败响应时间--waitretry重试等待间隔(秒)30-60避免被服务器限制--random-wait随机等待时间建议启用防止规律性请求被拦截--auth-no-challenge预发送认证建议启用减少认证失败概率3. 高级功能实现3.1 并行下载加速对于大量小文件可使用GNU parallel实现并行下载# 安装parallel (Linux) sudo apt-get install parallel # 并行下载命令 cat $URL_LIST | parallel -j 4 wget -c \ --http-user$USERNAME \ --http-passwd$PASSWORD \ --load-cookies $COOKIE_FILE \ --no-check-certificate \ -P $OUTPUT_DIR {}提示并行线程数(-j)建议设置为4-8过高可能导致服务器拒绝连接3.2 下载完整性校验MERRA-2数据通常提供MD5校验文件可添加自动校验环节# 校验脚本片段 for nc_file in $OUTPUT_DIR/*.nc; do expected_md5$(grep $(basename $nc_file) MD5_SUM.txt | awk {print $1}) actual_md5$(md5sum $nc_file | awk {print $1}) if [ $expected_md5 ! $actual_md5 ]; then echo 校验失败: $nc_file $LOG_FILE # 自动加入重下载队列 grep $(basename $nc_file) $URL_LIST retry_list.txt fi done4. 跨平台适配方案4.1 Windows系统特别处理Windows用户可通过以下方式优化体验安装Git Bash或WSL获得完整Linux环境使用批处理脚本包装核心功能echo off set MAX_RETRY100 set URL_LISTsubset_links.txt set OUTPUT_DIR.\merra2_data for /l %%x in (1,1,%MAX_RETRY%) do ( wget -c ^ --http-useryour_username ^ --http-passwdyour_password ^ --load-cookies cookies.txt ^ --save-cookies cookies.txt ^ --no-check-certificate ^ --auth-no-challengeon ^ -i %URL_LIST% ^ -P %OUTPUT_DIR% if not errorlevel 1 goto completed timeout /t 60 nul ) :completed4.2 定时自动下载结合crontab(Linux)或任务计划程序(Windows)实现无人值守下载# Linux定时任务示例每天凌晨2点执行 0 2 * * * /path/to/merra2_download.sh /var/log/merra2_download.log 215. 异常处理与监控完善的错误处理机制应包括网络异常检测自动识别并记录以下常见问题认证失败(HTTP 401)文件不存在(HTTP 404)服务器过载(HTTP 503)磁盘空间监控在脚本中添加空间检查逻辑# 磁盘空间检查 MIN_SPACE10 # 最小剩余空间(GB) available$(df -BG $OUTPUT_DIR | awk NR2 {print $4} | tr -d G) if [ $available -lt $MIN_SPACE ]; then echo $(date) - 错误磁盘空间不足 $LOG_FILE exit 1 fi邮件通知功能通过mailx或sendmail实现结果通知# 安装mailx (Ubuntu) sudo apt-get install heirloom-mailx # 在脚本末尾添加 if [ -s $LOG_FILE ]; then mail -s MERRA-2下载报告 userexample.com $LOG_FILE fi这套方案在某大气污染研究项目中经受了实际考验成功实现了超过2TB MERRA-2数据的自动下载。当遇到服务器维护时段时脚本的智能重试机制避免了手动干预将原本需要数周的手动操作压缩为3天的自动化流程。