告别复杂模型：用Python+OpenCV+dlib实现简易驾驶员疲劳监测（附完整代码）

轻量级驾驶员疲劳监测系统PythonOpenCVdlib实战指南在长途驾驶或夜间行车时疲劳是导致交通事故的重要因素之一。传统基于嵌入式设备的疲劳监测系统往往需要专用硬件增加了开发成本和部署难度。本文将介绍如何利用Python生态中的OpenCV和dlib库仅用普通USB摄像头实现一个轻量级但功能完整的驾驶员疲劳监测原型系统。1. 系统核心原理与设计思路疲劳监测的核心在于实时捕捉并分析驾驶员的面部特征变化。我们主要关注两个关键指标眼睛闭合程度EAR通过计算眼睛关键点之间的距离比判断眼睛是否闭合嘴巴张开程度MAR通过嘴唇关键点之间的距离检测打哈欠等疲劳表现相比传统嵌入式方案我们的Python实现具有以下优势特性本方案嵌入式方案硬件要求普通USB摄像头专用开发板开发难度Python生态完善需要交叉编译算法调整代码修改即时生效需重新烧录固件成本极低中等偏高# 基础环境配置示例 import cv2 import dlib import numpy as np2. 环境搭建与关键点检测2.1 准备工作环境首先需要安装必要的Python库pip install opencv-python dlib imutils同时下载dlib的68点人脸关键点预测模型文件shape_predictor_68_face_landmarks.dat约100MB可从dlib官方或开源社区获取注意模型文件路径需在代码中正确指定建议放在项目根目录下2.2 初始化检测器# 初始化人脸检测器和关键点预测器 detector dlib.get_frontal_face_detector() predictor dlib.shape_predictor(shape_predictor_68_face_landmarks.dat) # 定义关键点索引常量 JAWLINE_POINTS list(range(0, 17)) RIGHT_EYEBROW_POINTS list(range(17, 22)) LEFT_EYEBROW_POINTS list(range(22, 27)) NOSE_POINTS list(range(27, 36)) RIGHT_EYE_POINTS list(range(36, 42)) LEFT_EYE_POINTS list(range(42, 48)) MOUTH_POINTS list(range(48, 68))3. 核心算法实现3.1 眼睛纵横比(EAR)计算眼睛闭合程度通过眼睛纵横比(Eye Aspect Ratio)来衡量其计算公式为EAR (||p2-p6|| ||p3-p5||) / (2 * ||p1-p4||)其中p1-p6为眼睛周围的6个关键点def eye_aspect_ratio(eye): # 计算垂直距离 A np.linalg.norm(eye[1] - eye[5]) B np.linalg.norm(eye[2] - eye[4]) # 计算水平距离 C np.linalg.norm(eye[0] - eye[3]) # 计算EAR ear (A B) / (2.0 * C) return ear3.2 嘴巴纵横比(MAR)计算类似地嘴巴张开程度通过Mouth Aspect Ratio来衡量def mouth_aspect_ratio(mouth): # 计算内部嘴唇高度 A np.linalg.norm(mouth[13] - mouth[19]) B np.linalg.norm(mouth[14] - mouth[18]) C np.linalg.norm(mouth[15] - mouth[17]) # 计算嘴唇宽度 D np.linalg.norm(mouth[12] - mouth[16]) # 计算MAR mar (A B C) / (3.0 * D) return mar4. 实时监测系统实现4.1 视频流处理框架# 定义阈值常量 EAR_THRESHOLD 0.25 # 低于此值认为闭眼 MAR_THRESHOLD 0.5 # 高于此值认为张嘴 CONSEC_FRAMES 20 # 连续帧数阈值 # 初始化计数器 ear_counter 0 mar_counter 0 fatigue_status False # 启动摄像头 cap cv2.VideoCapture(0)4.2 主循环处理逻辑while True: ret, frame cap.read() if not ret: break gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) faces detector(gray, 0) for face in faces: landmarks predictor(gray, face) landmarks np.array([(p.x, p.y) for p in landmarks.parts()]) # 提取眼睛和嘴巴关键点 left_eye landmarks[LEFT_EYE_POINTS] right_eye landmarks[RIGHT_EYE_POINTS] mouth landmarks[MOUTH_POINTS] # 计算EAR和MAR left_ear eye_aspect_ratio(left_eye) right_ear eye_aspect_ratio(right_eye) ear (left_ear right_ear) / 2.0 mar mouth_aspect_ratio(mouth) # 疲劳状态判断 if ear EAR_THRESHOLD: ear_counter 1 if ear_counter CONSEC_FRAMES: cv2.putText(frame, EYES CLOSED!, (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0,0,255), 2) fatigue_status True else: ear_counter 0 if mar MAR_THRESHOLD: mar_counter 1 if mar_counter CONSEC_FRAMES: cv2.putText(frame, YAWNING!, (10, 60), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0,0,255), 2) fatigue_status True else: mar_counter 0 # 可视化关键点 for (x, y) in np.concatenate((left_eye, right_eye, mouth)): cv2.circle(frame, (x, y), 1, (0, 255, 0), -1) # 显示结果 cv2.imshow(Driver Fatigue Monitor, frame) if cv2.waitKey(1) 0xFF ord(q): break cap.release() cv2.destroyAllWindows()5. 系统优化与扩展5.1 性能优化技巧多线程处理将视频采集和图像分析分离到不同线程ROI裁剪只处理人脸区域而非整个画面帧率控制适当降低处理帧率以减轻CPU负担# 多线程处理示例 from threading import Thread from queue import Queue class VideoStream: def __init__(self, src0): self.stream cv2.VideoCapture(src) self.stopped False self.Q Queue(maxsize128) def start(self): Thread(targetself.update, args()).start() return self def update(self): while True: if self.stopped: return if not self.Q.full(): ret, frame self.stream.read() if ret: self.Q.put(frame) def read(self): return self.Q.get() def stop(self): self.stopped True5.2 功能扩展方向头部姿态估计结合其他关键点判断头部位置眨眼频率分析统计单位时间内眨眼次数声音警报系统当检测到疲劳时发出提示音数据记录与分析保存疲劳事件的时间戳和持续时间# 头部姿态估计示例 def head_pose_estimation(landmarks): # 3D模型点 model_points np.array([ (0.0, 0.0, 0.0), # 鼻尖 (0.0, -330.0, -65.0), # 下巴 (-225.0, 170.0, -135.0), # 左眼角 (225.0, 170.0, -135.0), # 右眼角 (-150.0, -150.0, -125.0), # 左嘴角 (150.0, -150.0, -125.0) # 右嘴角 ]) # 2D图像点 image_points np.array([ landmarks[30], # 鼻尖 landmarks[8], # 下巴 landmarks[36], # 左眼角 landmarks[45], # 右眼角 landmarks[48], # 左嘴角 landmarks[54] # 右嘴角 ], dtypedouble) # 相机参数估计 size frame.shape focal_length size[1] center (size[1]/2, size[0]/2) camera_matrix np.array( [[focal_length, 0, center[0]], [0, focal_length, center[1]], [0, 0, 1]], dtypedouble ) dist_coeffs np.zeros((4,1)) # 假设没有镜头变 (success, rotation_vector, translation_vector) cv2.solvePnP( model_points, image_points, camera_matrix, dist_coeffs) return rotation_vector, translation_vector6. 实际部署注意事项光照条件确保驾驶环境有足够且均匀的光照摄像头位置应正对驾驶员面部避免角度过大阈值调优根据实际场景调整EAR和MAR的阈值性能监控在树莓派等设备上需关注CPU温度和负载提示实际部署前应在不同光照和角度条件下充分测试收集足够样本优化阈值参数在真实项目中我们发现最常遇到的三个问题是夜间低光照条件下的检测准确率下降戴眼镜驾驶员的眼部关键点检测偏差快速头部转动导致的关键点跟踪丢失针对这些问题可以采用以下解决方案添加红外摄像头支持对戴眼镜样本进行专门训练引入光流法辅助跟踪