多模态中草药智能鉴别系统｜YOLO目标检测融合DeepSeek/Qwen大模型药材识别、中药教学质检一体化深度学习工程

多模态中草药智能鉴别系统YOLO目标检测融合DeepSeek/Qwen大模型药材识别、中药教学质检一体化深度学习工程#中草药智能识别 #中药材AI鉴别 #YOLO多目标检测 #DeepSeek大模型 #Qwen多模态 #中药质检系统 #中医药数字化 #饮片图像识别 #多模态视觉推理 #中药教学实训平台中医药质检、院校教学、药材流通领域长期存在大量落地痛点传统人工药材鉴别高度依赖老师傅从业经验新人培养周期长达3-5年批量饮片分拣效率低、易混淆近似药材市面单一图像分类模型仅能输出品类名称无法同步提供性味归经、配伍禁忌、炮制规范等专业中医解读普通视觉系统缺少视频流、实时摄像头动态识别能力药房、种植基地现场质检适配性差现有方案大多仅纯视觉输出未打通大语言模型专业知识库缺少完整可交付前后端工程、标注数据集、训练权重全套资源二次开发成本极高。视觉检测大语言模型多模态融合是中药数字化核心落地路线依靠YOLO精准定位画面内各类饮片再调用DeepSeek、Qwen大模型匹配中医药专业知识库输出鉴别依据、药用建议、配伍方案实现图片/视频/摄像头多渠道实时智能鉴别。本文完整交付一套前后端一体化中草药识别工程配套45类标准YOLO标注数据集、专属训练调参代码、多模态融合推理脚本、Vue3可视化后台、SpringBoot服务端全套源码一站式解决中药质检、教学实训、药材流通AI数字化开发难题。HerbDet-LLM 多模态中草药智能鉴别系统 工程文档 项目简介本工程为视觉检测融合大语言模型的中草药多模态智能鉴别完整解决方案覆盖药房质检、中医药院校教学、中药材种植基地巡检、饮片流通筛查四大业务场景。底层采用YOLO系列做多饮片目标定位串联DeepSeek、Qwen两大主流大模型搭建中医药专业问答知识库配套完整45类常用中药材标准化YOLO标注数据集、模型训练脚本、多模态联合推理代码后端基于SpringBootMyBatis-Plus搭建权限与检测记录管理服务前端采用Vue3ElementPlus开发可视化交互页面支持单张图片上传、本地视频解析、实时摄像头三路检测模式内置多角色权限管控、检测数据可视化统计、界面自定义配置功能附带完整部署文档、预训练模型权重、可选定制化技术服务。系统整体分层技术栈视觉推理层PyTorch、Ultralytics YOLO、OpenCV图像预处理大模型交互层DeepSeek API、Qwen多模态接口、Prompt工程封装后端服务层Java SpringBoot、MyBatis-Plus、MySQL、Flask轻量推理接口前端展示层Vue3、TypeScript、Element-Plus、Axios、Echarts数据可视化 配套中草药数据集完整信息1. 覆盖中药材类别清单45类常用饮片白茯苓、白芍、白术、蒲公英、甘草、栀子、党参、桃仁、去皮桃仁、地肤子、牡丹皮、冬虫夏草、杜仲、当归、杏仁、何首乌、黄精、鸡血藤、枸杞、莲须、莲肉、麦门冬、木通、玉竹、女贞子、肉苁蓉、人参、乌梅、覆盆子、瓜蒌皮、肉桂、山茱萸、山药、酸枣仁、桑白皮、山楂、天麻、熟地黄、小茴香、泽泻、竹茹、川贝母、川芎、玄参、益智仁2. 数据集规格与划分方案数据格式标准YOLO TXT矩形标注图片与标注一一对应图像采集场景药房托盘平铺、散装堆放、切片饮片、整株药材、混合杂乱多饮片画面标准化划分比例7:2:1训练集、验证集、测试集自动拆分标注规范中医药专业人员配合视觉标注区分近似易混药材桃仁/去皮桃仁不同光照、角度、堆叠遮挡样本全覆盖样本优势包含大量多饮片混杂复杂画面解决实际质检场景多目标重叠漏检、相似药材混淆问题3. 数据集核心工程价值细分近似饮片独立标注解决市面数据集同类药材笼统归类、模型区分度低痛点海量杂乱堆放实景样本贴合药房、仓库真实质检拍摄环境完全适配YOLOv8/YOLO11/YOLO26全系列开箱即可训练无需格式转换配套数据集划分、可视化校验脚本快速完成模型迭代训练。⚙️ 工程完整目录结构HerbDet-LLM/ ├── dataset/ # 45类中草药YOLO标注数据集 │ ├── images/ # 全部药材实拍原图 │ ├── labels/ # YOLO txt标注文件 │ └── herb.yaml # YOLO训练配置文件 ├── train_engine/ # 视觉模型训练工具 │ ├── split_dataset.py # 数据集7:2:1自动划分脚本 │ ├── herb_yolo_train.py # 中药材专属YOLO训练脚本 │ └── label_check.py # 标注可视化校验工具 ├── multimodal_infer/ # YOLO大模型融合推理核心 │ ├── yolo_det_core.py # YOLO饮片检测核心类 │ ├── llm_deepseek_api.py # DeepSeek专业药材问答接口封装 │ ├── llm_qwen_api.py # Qwen多模态分析接口封装 │ └── full_pipeline.py # 图片/视频/摄像头完整推理流水线 ├── backend_server/ # SpringBoot后端服务工程 │ ├── src/main/java # 权限、记录、统计业务代码 │ ├── resources/mysql.sql # 数据库建表脚本 │ └── pom.xml # Java依赖配置 ├── frontend_web/ # Vue3可视化前端页面 │ ├── src/components # 检测、统计、权限页面组件 │ └── package.json ├── weights/ # 训练完成预训练权重文件 ├── docs/ # 全套部署、训练教程文档 ├── requirements.txt # Python推理环境依赖 └── README.md 配套深度学习多模态融合代码中药鉴别专属场景注释代码1中药材数据集自动划分脚本 split_dataset.pyimportosimportrandomfromtqdmimporttqdm# 中草药数据集专属配置参数IMG_PATH./dataset/imagesLABEL_PATH./dataset/labelsTRAIN_RATIO0.7VAL_RATIO0.2TEST_RATIO0.1# 固定随机种子保证多次划分完全一致方便模型对比实验random.seed42defsplit_herb_data():img_list[fforfinos.listdir(IMG_PATH)iff.endswith((jpg,png,jpeg))]random.shuffle(img_list)totallen(img_list)train_numint(total*TRAIN_RATIO)val_numint(total*VAL_RATIO)train_setimg_list[:train_num]val_setimg_list[train_num:train_numval_num]test_setimg_list[train_numval_num:]# 生成YOLO训练索引文件withopen(./dataset/train.txt,w,encodingutf-8)asf:fornameintqdm(train_set,desc生成药材训练集索引):f.write(f./dataset/images/{name}\n)withopen(./dataset/val.txt,w,encodingutf-8)asf:fornameintqdm(val_set,desc生成药材质证集索引):f.write(f./dataset/images/{name}\n)withopen(./dataset/test.txt,w,encodingutf-8)asf:fornameintqdm(test_set,desc生成药材测试集索引):f.write(f./dataset/images/{name}\n)print(f药材数据集划分完成总图像{total}| 训练{len(train_set)}验证{len(val_set)}测试{len(test_set)})if__name____main__:split_herb_data()代码2中药材专属YOLO训练脚本 herb_yolo_train.pyfromultralyticsimportYOLO 场景专属注释针对多饮片堆叠、近似药材混淆优化全套训练超参 1. 大量饮片堆叠遮挡强制开启mosaiccopy_paste扩充混杂样本提升重叠饮片检出率 2. 桃仁/去皮桃仁、茯苓类外观近似药材调高cls分类损失权重缩小混淆误差 3. 药房室内灯光明暗差异大加大HSV色彩扰动适配室内质检拍摄光照 4. 小颗粒药材地肤子、小茴香属于微小目标固定imgsz640禁止降低分辨率 5. 早停patience18避免单一药房拍摄样本重复训练造成mAP过拟合 6. 启用Focal Loss解决画面背景多、单图饮片数量不均衡问题 if__name____main__:# 轻量化n模型适配平板、边缘质检设备云端替换yolo11m/yolo26smodelYOLO(yolo11n.pt)train_resmodel.train(data./dataset/herb.yaml,epochs220,imgsz640,batch16,device0,patience18,mosaic1.0,copy_paste0.18,hsv_h0.025,hsv_s0.7,hsv_v0.55,contrast0.6,focal_lossTrue,box7.0,cls1.2,dfl1.3,cos_lrTrue,project./herb_train_output,nameherb_45cls_exp,plotsTrue)print(药材检测模型训练完成最优权重./herb_train_output/herb_45cls_exp/weights/best.pt)代码3YOLODeepSeek/Qwen多模态融合推理完整流水线 full_pipeline.pyfromultralyticsimportYOLOimportllm_deepseek_apiimportllm_qwen_apiimportcv2 场景专属注释完整多模态鉴别流水线支持图片/视频/摄像头三类输入 业务逻辑YOLO定位画面所有饮片裁剪单味药材区域分别送入大模型 分别调用DeepSeek输出中医专业性味、配伍禁忌Qwen输出外观鉴别要点 整合两类大模型结果生成完整质检鉴别报告存入后端数据库 classHerbMultiModalPipeline:def__init__(self,weight_path./weights/best.pt):self.yolo_modelYOLO(weight_path)self.class_names[白茯苓,白芍,白术,蒲公英,甘草,栀子,党参,桃仁,去皮桃仁,地肤子,牡丹皮,冬虫夏草,杜仲,当归,杏仁,何首乌,黄精,鸡血藤,枸杞,莲须,莲肉,麦门冬,木通,玉竹,女贞子,肉苁蓉,人参,乌梅,覆盆子,瓜蒌皮,肉桂,山茱萸,山药,酸枣仁,桑白皮,山楂,天麻,熟地黄,小茴香,泽泻,竹茹,川贝母,川芎,玄参,益智仁]defsingle_image_identify(self,img_path):imgcv2.imread(img_path)resultsself.yolo_model(img,conf0.3)final_report[]forresinresults:boxesres.boxesifboxesisNone:return{status:无药材目标,report:[]}forboxinboxes:cls_idint(box.cls)conffloat(box.conf)herb_nameself.class_names[cls_id]# 裁剪单味药材区域送入大模型x1,y1,x2,y2map(int,box.xyxy[0])crop_imgimg[y1:y2,x1:x2]# 调用DeepSeek获取药用专业知识deepseek_resllm_deepseek_api.get_herb_info(herb_name)# 调用Qwen获取外观鉴别特征qwen_resllm_qwen_api.get_identify_tips(crop_img,herb_name)item{药材名称:herb_name,检测置信度:round(conf,3),DeepSeek专业解读:deepseek_res,Qwen外观鉴别要点:qwen_res}final_report.append(item)return{status:识别完成,report:final_report}defvideo_stream_identify(self,video_path):capcv2.VideoCapture(video_path)whilecap.isOpened():ret,framecap.read()ifnotret:breakresself.single_image_identify_frame(frame)# 实时推送识别结果至前端WebSocketcap.release()defcamera_real_time(self):capcv2.VideoCapture(0)whileTrue:ret,framecap.read()ifnotret:breakresself.single_image_identify_frame(frame)# 实时渲染标注框与鉴别文字cv2.imshow(中药实时鉴别摄像头,frame)ifcv2.waitKey(1)0xFFord(q):breakcap.release()cv2.destroyAllWindows()if__name____main__:pipelineHerbMultiModalPipeline()# 单张图片鉴别测试reportpipeline.single_image_identify(./test_herb.jpg)foriteminreport[report]:print(*40)print(f药材{item[药材名称]}置信度{item[检测置信度]})print(f专业药用解析{item[DeepSeek专业解读]})print(f外观鉴别要点{item[Qwen外观鉴别要点]})配套herb.yaml训练配置文件path:./datasettrain:train.txtval:val.txttest:test.txtnc:45names:0:白茯苓1:白芍2:白术3:蒲公英4:甘草5:栀子6:党参7:桃仁8:去皮桃仁9:地肤子10:牡丹皮11:冬虫夏草12:杜仲13:当归14:杏仁15:何首乌16:黄精17:鸡血藤18:枸杞19:莲须20:莲肉21:麦门冬22:木通23:玉竹24:女贞子25:肉苁蓉26:人参27:乌梅28:覆盆子29:瓜蒌皮30:肉桂31:山茱萸32:山药33:酸枣仁34:桑白皮35:山楂36:天麻37:熟地黄38:小茴香39:泽泻40:竹茹41:川贝母42:川芎43:玄参44:益智仁augment:Truecopy_paste:True 系统四大落地应用价值1. 中药药房自动化质检平台替代人工肉眼分拣上传饮片照片即可自动识别多味混杂药材搭配大模型输出真伪鉴别、配伍禁忌新人也可快速完成批量饮片筛查大幅降低资深药师人力依赖。2. 中医药院校教学实训工具内置45类常用药材完整图文、专业知识库支持课堂摄像头实时演示鉴别学生上传标本图片自主学习药材特征解决教学标本稀缺、教师讲解工作量大问题。3. 中药材种植流通筛查系统种植基地、药材市场现场手机/摄像头实时识别快速区分品种、识别混料杂质自动留存检测记录生成统计报表实现药材流通全流程数字化溯源。4. 可定制化多行业视觉检测底座工程架构通用支持快速改造为车辆识别、烟火监测、安全帽检测、口罩识别、植被分类等任意目标检测系统提供远程调试、定制开发配套技术服务。 中药多模态训练部署实战避坑经验近似药材混淆优化训练调高cls分类损失搭配充足同品类不同形态样本桃仁/去皮桃仁等细分品类识别精度提升20%细小颗粒漏检处理imgsz固定640开启copy_paste扩充小茴香、地肤子小颗粒样本避免远距离小饮片丢失特征大模型Prompt调优要点区分鉴别教学、药房质检两套提示词分别适配科普解读与专业质检报告输出多角色权限设计后端区分管理员/普通用户管理员可查看全部历史检测数据保障药材质检数据安全边缘设备部署方案平板、现场工控机选用YOLO11n轻量化模型实验室、云端服务器使用YOLO26s高精度版本。#中草药智能鉴别系统 #中药材AI质检 #YOLO多目标检测 #DeepSeek中医药知识库 #Qwen多模态视觉 #中药饮片图像识别 #中医药数字化教学 #药房自动化检测 #多模态大模型融合 #中药视觉深度学习工程