【花雕动手做】行空板 K10 系列实验之摄像头识别移动检测后显示在K10屏幕上

行空板K10是一款专为快速体验物联网和学习人工智能而设计的开发学习板100%采用国产芯片知识产权自主可控符合信息科技课程中编程学习、物联网及人工智能等教学需求。该板集成2.8寸LCD彩屏、WiFi蓝牙、摄像头、麦克风、扬声器、RGB指示灯、多种传感器及丰富的扩展接口。凭借高度集成的板载资源教学过程中无需额外连接其他设备便可轻松实现传感器控制、物联网应用以及人脸识别、语音识别、语音合成等AI人工智能项目。主要特点集成摄像头内置算法可进行离线图像检测集成麦克风内置算法可进行离线语音识别集成扬声器内置算法可进行离线语音合成2.8寸彩色屏幕数据展示更清晰集成度高利于教学接口丰富兼容软件多扩展性好主打人工智能模块移动检测相关说明辅助屏幕显示相关积木LED控制模块知识点行空板 K10 移动侦测 AI 检测 屏幕显示综合介绍一、整体方案原理硬件基础行空板 K10 搭载ESP32-S3 主控内置硬件 NPU 神经网络加速器搭配前置 200 万像素摄像头、2.8 寸彩色 LCD 屏幕、RGB 氛围灯无需外接模块、无需联网本地离线实时画面动态检测。整套功能分为三部分摄像头采集画面 → NPU 移动 AI 算法运算 → 屏幕文字 RGB 灯光同步展示检测结果。移动检测算法逻辑算法对比前后两帧摄像头画面像素差异识别画面内物体移动、光影变化内置灵敏度阈值可调过滤微小光影抖动只识别有效物体运动区别于人脸 / 猫狗 / 二维码目标识别人脸 / 猫狗识别特定生物面部二维码识别特定图形码移动检测 (Move)不区分物体只要画面产生位移变化就触发。二、功能清单屏幕 灯光联动摄像头实时画面投屏屏幕底层持续显示摄像头取景画面检测文字叠加在画面上层直观看到现场画面。状态双区分显示画面静止无移动清空屏幕文字RGB 红灯常亮检测到物体移动屏幕打印提示文字RGB 绿灯同步亮起视觉双重提醒。自定义检测灵敏度可设置阈值 0~100数值越大越难触发解决窗外树影、灯光频闪误触发问题。RGB 亮度可调限制灯光亮度避免强光刺眼适配室内长时间使用。无阻塞实时检测代码无延时卡死画面持续刷新物体一移动立刻响应无延迟。三、完整运行流程上电初始化硬件、屏幕、NPU、摄像头依次启动切换移动检测 AI 模式设置灯光亮度与移动灵敏度待机静止状态屏幕仅显示摄像头画面无任何文字RGB 红灯常亮镜头前出现移动物体手、宠物、行人AI 瞬间识别画面像素变化屏幕上层叠加白色、浅粉色提示文字RGB 灯同步切换为绿色物体完全静止不动画布文字立刻清空RGB 灯切回红色待机等待下一次移动触发。四、适用项目场景室内简易人体感应报警器有人经过自动亮灯提示宠物活动监测宠物跑动触发灯光提醒仓库简易异动监控画面出现物体移动屏幕报警楼道人体感应提示装置教学 AI 视觉实验学习帧差法动态检测、屏幕交互外设联动。五、使用优势纯离线本地运算不用 WiFi、不消耗流量无网络延迟屏幕实时可视化肉眼同步看到监控画面与检测状态红绿灯光状态区分清晰远距离也能判断是否检测到移动灵敏度可调适配卧室、窗边、仓库等不同光线环境代码无阻塞实时响应不会出现扫码类项目 2 秒卡死的问题。【花雕动手做】行空板 K10 系列实验之摄像头识别移动检测后显示在K10屏幕上实验开源代码// 引入行空板K10硬件驱动库封装屏幕、画布、RGB彩灯、摄像头、屏幕渲染等全部外设接口#includeunihiker_k10.h// 引入离线AI视觉识别库提供NPU初始化、多种AI模式切换、移动检测功能#includeAIRecognition.h// 实例化行空板主控全局对象所有屏幕、灯光、摄像头操作统一通过k10调用UNIHIKER_K10 k10;// 屏幕旋转参数2设备竖直正向显示移动检测推荐竖屏摆放识别更稳定uint8_tscreen_dir2;// AI视觉专用对象负责启动NPU、切换AI算法、读取移动检测状态、调节灵敏度AIRecognition ai;/** * brief 上电初始化函数开发板通电/复位仅执行一次 * 功能硬件初始化、AI加速器启动、开启摄像头画面、切换移动检测模式、设置灯光亮度、调节移动检测灵敏度 */voidsetup(){k10.begin();// 初始化主板底层IO、供电、通信总线等全套硬件外设k10.initScreen(screen_dir);// 根据screen_dir参数初始化LCD显示屏设置屏幕正向竖直显示ai.initAi();// 启动ESP32-S3内置NPU AI硬件加速器加载移动目标检测模型k10.initBgCamerImage();// 初始化摄像头后台画面渲染功能支持摄像头画面实时投屏到屏幕k10.setBgCamerImage(false);// 初始化阶段临时关闭摄像头画面避免画面干扰初始化流程k10.creatCanvas();// 创建绘图缓存画布绘图先存入缓存再统一刷新消除屏幕闪烁ai.switchAiMode(ai.NoMode);// 临时切换AI为无识别模式清空上一轮残留AI算法防止模式冲突黑屏k10.setScreenBackground(0x000000);// 设置屏幕底层默认背景色为纯黑色k10.setBgCamerImage(true);// 开启摄像头实时画面投屏屏幕持续显示镜头实时取景画面ai.switchAiMode(ai.Move);// 切换AI工作模式为【移动物体检测】开启画面动态侦测算法k10.rgb-brightness(round(3));// 设置RGB彩灯全局亮度有效范围0~103为柔和低亮度不刺眼k10.canvas-updateCanvas();// 刷新画布缓存将初始化空白界面输出到LCD屏幕ai.setMotinoThreshold(50);// 设置移动检测灵敏度阈值数值越大越难触发检测50为中等灵敏度}/** * brief 主循环函数上电后无限循环执行移动侦测核心逻辑 * 逻辑画面检测到移动物体 → 屏幕打印提示文字、RGB绿灯亮起无移动 → RGB红灯常亮清空文字 */voidloop(){// 判断摄像头画面中是否检测到移动物体// ai.isDetectContent(AIRecognition::Move) 返回true画面存在移动目标false画面静止无变化if(ai.isDetectContent(AIRecognition::Move)){// 在画布第4行白色字体打印实验标题k10.canvas-canvasText(行空板K10系列实验,4,0xFFFFFF);// 在画布第6行浅粉色字体打印移动检测提示k10.canvas-canvasText(检测到移动,6,0xFFCCCC);k10.canvas-updateCanvas();// 将画布文字缓存刷新输出到实体LCD屏幕k10.rgb-write(-1,0x00FF00);// -1代表控制全部RGB灯珠0x00FF00纯绿色检测到移动亮绿灯}else{// 画面无移动物体清空画布文字灯光切换为红色k10.canvas-canvasClear();k10.rgb-write(-1,0xFF0000);// 0xFF0000纯红色静止状态常亮红灯}}代码解读一、头文件与全局对象#includeunihiker_k10.h#includeAIRecognition.hUNIHIKER_K10 k10;uint8_tscreen_dir2;AIRecognition ai;#includeunihiker_k10.h行空板 K10 硬件库封装屏幕、画布、RGB 彩灯、摄像头、画面渲染全部外设操作。#includeAIRecognition.h离线 AI 视觉库依托 ESP32-S3 内置 NPU提供人脸、猫狗、二维码、移动侦测四种离线视觉算法。UNIHIKER_K10 k10全局硬件主控对象屏幕、灯光、摄像头所有操作都通过k10调用。uint8_tscreen_dir2屏幕朝向参数2 竖直正向显示移动检测推荐竖屏横屏容易误触发、识别不稳定。AIRecognition aiAI 专用对象负责 NPU 初始化、切换识别模式、设置移动灵敏度、判断画面是否存在移动物体。二、setup () 上电初始化仅开机执行 1 次voidsetup(){k10.begin();// 初始化主板底层IO、供电、通信总线等全部硬件k10.initScreen(screen_dir);// 初始化LCD屏幕设置竖直正向显示ai.initAi();// 启动ESP32-S3内置NPU AI加速器加载移动检测模型k10.initBgCamerImage();// 初始化摄像头后台投屏功能屏幕实时显示摄像头画面k10.setBgCamerImage(false);// 初始化阶段临时关闭摄像头画面避免画面干扰初始化流程k10.creatCanvas();// 创建绘图缓存画布绘图先存缓存再统一刷新消除屏幕闪烁ai.switchAiMode(ai.NoMode);// 清空上一轮AI运行模式防止多算法冲突、设备黑屏k10.setScreenBackground(0x000000);// 设置屏幕底层背景为纯黑色k10.setBgCamerImage(true);// 开启摄像头实时画面投屏ai.switchAiMode(ai.Move);// 切换AI算法为【移动目标检测】开启画面动态侦测k10.rgb-brightness(round(3));// 设置RGB彩灯亮度取值0~103亮度柔和不刺眼k10.canvas-updateCanvas();// 刷新画布输出初始化空白界面到屏幕ai.setMotinoThreshold(50);// 设置移动检测灵敏度阈值}关键接口说明ai.setMotinoThreshold(50)阈值范围0 ~ 100数值越小轻微光影、微小移动就会触发检测数值越大需要大幅度物体移动才会判定为移动本代码设 50中等灵敏度兼顾灵敏与抗光影误触发。初始化执行顺序硬件初始化 → 屏幕初始化 → AI 加速器启动 → 画布 / 摄像头初始化 → 清空旧 AI 模式 → 开启摄像头画面 → 切换移动检测算法 → 设置灯光亮度、移动灵敏度。三、loop () 主循环无限循环核心侦测逻辑voidloop(){// 判断摄像头画面是否检测到移动物体if(ai.isDetectContent(AIRecognition::Move)){// 第4行白色文字实验标题k10.canvas-canvasText(行空板K10系列实验,4,0xFFFFFF);// 第6行浅粉色文字检测提示k10.canvas-canvasText(检测到移动,6,0xFFCCCC);k10.canvas-updateCanvas();// 刷新文字到屏幕k10.rgb-write(-1,0x00FF00);// -1全部RGB灯0x00FF00纯绿色检测到移动亮绿灯}else{// 画面静止无移动k10.canvas-canvasClear();// 清空屏幕所有文字只保留摄像头画面k10.rgb-write(-1,0xFF0000);// 0xFF0000纯红色静止状态常亮红灯}}AI 判断函数ai.isDetectContent(AIRecognition::Move)返回布尔值true画面存在移动的物体 / 光影变化false画面完全静止无动态变化。2. 两大分支逻辑分支 1检测到移动if在屏幕固定行数打印两行提示文字刷新画布文字显示在摄像头画面上层全部 RGB 灯切换为绿色作为移动提醒。分支 2画面静止else清空画布所有文字恢复纯净摄像头画面RGB 灯切换为红色常亮代表待机静止状态。四、完整运行流程开发板上电自动初始化硬件、AI、摄像头开启移动侦测镜头前无物体移动屏幕仅显示摄像头画面RGB 红灯常亮手、物体在镜头前移动屏幕弹出文字提示RGB 立刻切换绿灯物体静止不动后文字瞬间清空灯光切回红色待机。全程无delay()阻塞实时持续侦测响应速度快红绿灯光区分两种状态直观易懂可自定义移动灵敏度阈值适配室内、强光等不同环境限制 RGB 亮度灯光柔和不刺眼。五、使用注意事项设备必须竖直摆放横屏会大幅降低检测稳定性、增加误触发避开持续晃动的光影窗帘、窗外树影、频闪灯光阈值调节参考居家室内 40~60强光窗边 70~90禁止在 loop 循环里频繁切换 AI 模式移动 / 人脸 / 二维码容易黑屏、设备重启。Mind图形编程实验场景图与视频记录