VOC2007与2012数据集高效合并及跨平台训练集整合指南(附代码)

1. 为什么需要合并VOC2007和VOC2012数据集在目标检测领域VOC数据集可以说是最经典的基准测试集之一。我刚开始做目标检测时发现很多论文都在用VOC2007和VOC2012这两个数据集做对比实验。但单独使用其中任何一个数据集时总感觉训练样本数量不太够模型容易过拟合。后来看到有论文把两个数据集合并使用效果确实比单独使用要好不少。VOC2007有9963张标注图片VOC2012有11540张合并后能达到21503张。虽然这个数量在今天看来不算大但对于入门学习和算法验证来说已经足够。更重要的是两个数据集的标注格式完全一致合并起来特别方便。我在实际项目中测试过合并后的数据集能让模型的mAP提升2-3个百分点特别是对那些小样本类别效果更明显。不过要注意的是VOC2007的测试集是固定的而VOC2012原本没有官方测试集。所以合并后我们通常会把VOC2007的测试集保留作为最终测试其他数据都用作训练和验证。这样既保证了测试的一致性又增加了训练样本量。2. 数据集下载与目录结构解析2.1 快速下载技巧官方下载VOC数据集的速度确实让人头疼我这里分享一个实测有效的方法。首先找到官方下载页面不要直接点击下载而是右键复制下载链接。然后用迅雷等下载工具新建任务粘贴链接下载。我测试过这样速度能提升5-10倍特别是对于VOC2012这种大文件。下载完成后你会得到两个压缩包VOC2007和VOC2012。解压后目录结构是这样的VOCdevkit/ ├── VOC2007 │ ├── Annotations │ ├── ImageSets │ ├── JPEGImages │ └── ... └── VOC2012 ├── Annotations ├── ImageSets ├── JPEGImages └── ...2.2 关键目录说明Annotations文件夹存放的是XML格式的标注文件每个文件对应一张图片的标注信息。我建议新手一定要仔细看看这些XML文件的结构理解bounding box的表示方法。XML里包含了物体类别、坐标等信息这是目标检测的核心数据。ImageSets/Main目录下的txt文件特别重要它们定义了训练集、验证集的划分。比如2007_train.txt里列出了所有训练图片的ID。JPEGImages就是原始图片了注意VOC2007和2012的图片命名规则是一致的都是000001.jpg这种六位数字格式。3. 数据集合并的完整流程3.1 保留官方数据划分很多新手喜欢自己重新划分训练验证集这其实是个误区。VOC数据集已经做了科学的划分特别是VOC2007的测试集是固定的很多论文都用它做对比。我建议保持这个划分不变只做合并操作。具体来说VOC2007的trainval5011张和VOC2012的trainval11540张合并作为新的训练集VOC2007的test4952张保留作为测试集。这样既增加了训练数据量又保持了测试的一致性。3.2 图片和标注文件的合并首先把两个数据集的JPEGImages和Annotations合并。由于文件名都是六位数字且不重复直接拷贝到一起就行。我通常这样做# Linux/Mac系统 cp VOC2012/JPEGImages/* VOC2007/JPEGImages/ cp VOC2012/Annotations/* VOC2007/Annotations/ # Windows系统 xcopy VOC2012\JPEGImages VOC2007\JPEGImages /E xcopy VOC2012\Annotations VOC2007\Annotations /E合并后记得检查文件数量是否正确VOC2007的JPEGImages应该有99631154021503个文件。如果数量不对可能是文件名冲突不过VOC的设计应该避免了这种情况。3.3 合并训练集列表文件接下来合并ImageSets/Main下的txt文件。VOC2007的trainval.txt和VOC2012的trainval.txt需要合并成一个新的train.txt。这里有个坑要注意两个数据集的图片ID前缀不同2007的是006988这种纯数字2012的是2012_004331带年份的。我推荐的处理方式是统一去掉2012的年份前缀只保留数字部分。可以用这个Python脚本处理import os # 处理VOC2012的trainval.txt with open(VOC2012/ImageSets/Main/trainval.txt) as f: voc2012_ids [line.strip().replace(2012_, ) for line in f] # 读取VOC2007的trainval.txt with open(VOC2007/ImageSets/Main/trainval.txt) as f: voc2007_ids [line.strip() for line in f] # 合并并保存 with open(VOC2007/ImageSets/Main/train.txt, w) as f: for img_id in voc2007_ids voc2012_ids: f.write(f{img_id}\n)4. 跨平台训练集整合技巧4.1 Windows系统下的处理在Windows上合并txt文件时可以直接用Python的os.system调用type命令import os os.system(type VOC2007/ImageSets/Main/trainval.txt VOC2012/ImageSets/Main/trainval.txt train.txt)不过要注意文件路径的问题。我建议使用绝对路径或者先把工作目录切换到数据集根目录import os os.chdir(D:/datasets/VOCdevkit) # 修改为你的实际路径 os.system(type VOC2007/ImageSets/Main/trainval.txt VOC2012/ImageSets/Main/trainval.txt VOC2007/ImageSets/Main/train.txt)4.2 Linux系统下的操作Linux下更推荐使用cat命令效率更高import os os.system(cat VOC2007/ImageSets/Main/trainval.txt VOC2012/ImageSets/Main/trainval.txt VOC2007/ImageSets/Main/train.txt)如果要在Python中直接操作而不调用系统命令可以这样def merge_txt_files(output_path, *input_paths): with open(output_path, w) as outfile: for path in input_paths: with open(path) as infile: outfile.write(infile.read()) merge_txt_files(train.txt, VOC2007/trainval.txt, VOC2012/trainval.txt)5. 训练准备与数据加载5.1 生成最终训练文件现在我们需要生成YOLO或SSD等框架需要的训练文件格式通常是/path/to/image.jpg x1,y1,x2,y2,class_id x1,y1,x2,y2,class_id ...这个Python脚本可以帮你生成import os import xml.etree.ElementTree as ET def convert_annotation(image_id, classes): in_file open(fVOC2007/Annotations/{image_id}.xml) tree ET.parse(in_file) root tree.getroot() boxes [] for obj in root.iter(object): cls obj.find(name).text if cls not in classes: continue cls_id classes.index(cls) xmlbox obj.find(bndbox) box f{int(xmlbox.find(xmin).text)},{int(xmlbox.find(ymin).text)}, \ f{int(xmlbox.find(xmax).text)},{int(xmlbox.find(ymax).text)},{cls_id} boxes.append(box) return .join(boxes) classes [aeroplane, bicycle, bird, boat, bottle, bus, car, cat, chair, cow, diningtable, dog, horse, motorbike, person, pottedplant, sheep, sofa, train, tvmonitor] with open(train.txt, w) as list_file: with open(VOC2007/ImageSets/Main/train.txt) as f: for line in f: image_id line.strip() boxes convert_annotation(image_id, classes) list_file.write(fVOC2007/JPEGImages/{image_id}.jpg {boxes}\n)5.2 数据增强建议合并后的数据集虽然样本量增加了但还是建议做一些数据增强。我常用的配置是随机水平翻转概率0.5随机裁剪比例0.7-1.0颜色抖动亮度、对比度、饱和度各0.2随机旋转-15到15度在YOLOv5中可以这样配置# data/augmentation.yaml hsv_h: 0.015 # 色相 hsv_s: 0.7 # 饱和度 hsv_v: 0.4 # 明度 degrees: 15.0 # 旋转角度 translate: 0.1 # 平移 scale: 0.7 # 缩放 flipud: 0.0 # 垂直翻转 fliplr: 0.5 # 水平翻转 mosaic: 1.0 # Mosaic增强 mixup: 0.1 # Mixup增强