P1.语义分割与MMSegmentation

1.语义分割全流程

跑通语义分割开发全流程：标注、训练、评估、预测、部署

2.数据、模型与部署

数据：首先使用label me标注软件标注出这个数据集

模型：然后使用OpenMMLab开源语义分割算法库MMSegmentation，训练出深度学习算法模型，训练出模型后，就可以对新的图像和视频作推理预测

部署：最后使用OpenMMLab的模型部署工具链MMDeploy把语义分割模型转成中间格式，

3.语义分割任务

（1）语义分割任务

类别就是语义，分割就是抠图，语义分割基于空间和像素信息进行提取

（2）图像分类、目标检测、关键点检测、语义分割、实例分割和全景分割区别：

4.语义分割标注格式

对每个像素进行分类，即给每个像素类别进行标注；
整数掩膜图像：一个跟图像一样大小的矩阵，只不过矩阵里面的值只有0，1，2，3....N，分别代表N+1个类别（单通道矩阵），矩阵的值代表了原图对应像素的类别

5.语义分割&实例分割

语义分割：没有“一个一个物体“的概念

实例分割：一块一块肿瘤，一个一个细胞核，一辆一辆汽车等

eg，Yolov8是目标检测算法，一个一个实例的场景，用实例分割

填充一切、追踪一切、分割一切

Segment Anything：SAM分割一切

6.语义分割算法演进

OpenMMLab图像分割算法库MMSegmentation

（1）解决三个基本问题：

（2）图像分割发展趋势

（3）Segment Anything

打开网址：Segment Anything | Meta AI

7.语义分割数据集

（1）papaerswithcode

打开网址：https://paperswithcode.com/sota

（2）ADE20K和cityscapes

重点使用ADE20K和cityscapes这两个数据集训练出来的语义分割预训练模型，这些预训练模型都在MMSegmantation的模型库里边

（3）知乎文章

语义分割该如何走下去_周博磊

8.语义分割评估指标

（1）真实分割图&预测分割图

(2）评估指标计算

真实区域GT

预测区域Pred

IoU：交集/并集

Accuracy：交集/真实区域面积

Dice：2*并集/真实+预测，相当于求了一个调和平均数

mAcc、mloU、mDice：前面加m就是对每个类别计算指标然后取平均

（3）评估分类模型_混淆矩阵与评估指标

（4）OpenMMLab总体框架

【来源：B站】https://www.bilibili.com/video/BV1Wr4y1d7Tr?spm_id_from=333.788.videopod.sections&vd_source=27b7c394f170c1b8c810babcdfae23cb