嵌入式机器学习 - 学习笔记1.1.2 - 机器学习的局限性与伦理

1. 本章学习目标学完本章后应能够理解为什么一个出发点良好的 TinyML 项目仍可能产生偏差和意外伤害。语音南瓜识别失败的根本原因为什么不是“模型太差”而是需求和数据覆盖不完整。采样偏差、测量偏差、标签偏差、历史偏差和部署偏移之间的区别。为什么总体准确率无法完整反映模型对不同用户群体的表现。如何通过六道工程闸门把可信 AI 原则落实到 TinyML 项目生命周期中。端侧推理能够减少哪些隐私风险又有哪些风险无法自动消除。如何将公平性、隐私、人类监督和责任追踪迁移到 EEG、ECG、EMG、PPG、HRV、GSR / EDA 项目中。在发布 Edge Impulse 项目、模型或产品之前需要检查哪些许可证和使用限制。2. 本章内容导读本章以一个万圣节语音激活南瓜为切入点。开发者希望孩子们说出“trick or treat”后南瓜能够自动亮灯并发出笑声但模型真正部署后却几乎无法识别儿童声音。问题不在于开发者有恶意也不一定在于网络结构选择错误而在于训练数据只包含成年人的声音没有覆盖真正的目标用户。这个轻松的案例揭示了机器学习系统中一个非常现实的问题开发目标看起来合理 ≠ 数据能够代表真实用户 ≠ 模型对所有用户同样有效 ≠ 系统可以直接投入使用因此本章不再讨论“机器学习是什么”而是进一步分析模型如何在数据采集、训练、测试、部署和维护过程中逐渐产生风险以及开发者应如何把这些风险提前转化为可以检查、测试和记录的工程问题。3. 语音南瓜为什么会“翻车”3.1 案例目标2020 年万圣节Shawn Hymel 制作了一个语音激活南瓜。正常情况下南瓜保持熄灭当有人说出“trick or treat”时设备便会亮灯并发出笑声。从工程角度看它是一个典型的 Keyword Spotting关键词检测项目麦克风采集音频 → 音频窗口化和特征提取 → 模型判断是否出现目标短语 → MCU 控制灯光和声音项目在开发阶段能够运行但孩子们真正来到门口后南瓜却没有反应。只有当孩子故意压低嗓音、模仿成年人的声音时设备才可能被触发。3.2 真正的问题不是“没有儿童这个标签”这个模型的标签可能只有trick_or_treat background unknown因此问题并不是忘记添加一个名为“儿童”的分类标签而是目标类别的数据只覆盖了成年人。模型实际学到的可能是成年人说出 “trick or treat” 时的声音分布而开发者真正需要的是不同年龄、音高、口音、距离和环境下 人们说出 “trick or treat” 的共同特征这说明标签相同不代表样本具有相同的数据分布。3.3 需求、数据与用户之间发生了断裂环节原计划实际情况使用场景万圣节门口互动真实户外环境和背景噪声目标用户上门索要糖果的儿童训练者主要是成年人目标声音“trick or treat”儿童声音的音高、节奏和发音不同采集距离可能靠近麦克风录制用户站在门外不同距离说话测试方式开发者自行测试真实用户第一次使用最终结果自动识别并触发南瓜目标用户大量漏识别因此这不是一个单纯的“调高准确率”问题而是一个完整的需求覆盖问题。4. 偏差从哪里进入机器学习系统Bias偏差并不只发生在神经网络内部。它可能在定义任务、选择受试者、采集信号、制作标签和测试模型时进入系统。4.1 Sampling Bias采样偏差采集到的人群或场景不能代表真实应用对象。语音南瓜中的表现是目标用户主要是儿童 但训练样本主要来自成年人生理信号项目中可能表现为只采集年轻受试者只采集同一种体型的人只在实验室静坐状态采集只使用同一台设备和同一批电极只采集某一种生理反应诱发方式。4.2 Measurement Bias测量偏差不同设备、安装位置和使用环境可能改变信号。例如麦克风距离和方向不同EMG 电极位置发生移动ECG 电极接触阻抗不同PPG 受到运动、佩戴压力和环境光影响GSR / EDA 受到出汗、温度和电极接触影响不同 MCU 的 ADC、参考电压和模拟前端不同。这种情况下模型可能把“设备差异”错误地当成“状态差异”。4.3 Label Bias标签偏差标签不一定等于客观真相。例如疼痛识别项目中NRS 评分来自受试者主观报告。两名受试者即使填写相同的“5 分”实际体验、生理反应和评分习惯也可能不同。标签偏差还可能来自实验阶段与信号时间没有对齐一个窗口跨越两个状态研究人员主观判断动作是否正确疲劳、压力和情绪标签定义不清自动标签程序出现时间偏移。4.4 Historical Bias历史偏差如果模型使用过去形成的数据进行训练它可能学习过去已经存在的不公平关系。课程中的贷款审批案例正说明了这一点如果历史贷款数据本身反映了对某些群体的不公平待遇模型并不会主动纠正这种问题而可能把它当成有效规律继续使用。4.5 Deployment Shift部署偏移实验数据和真实使用数据不一致。训练阶段 安静实验室 固定传感器 标准动作 短时间采集 真实部署 背景噪声 传感器松动 非标准动作 长时间佩戴 用户状态变化2024 年一项使用 PPG 和 EDA 进行压力检测的研究指出受试者数量不足、群体多样性有限以及实验室环境与真实场景不同都会导致模型在新用户上性能下降该研究因此提出了基于用户数据进行适应和个性化的思路。(arXiv)5. 为什么总体准确率可能掩盖问题假设语音模型的总体准确率为 95%看起来已经很好但不同用户群体的结果可能是用户群体样本数量识别召回率成年男性40098%成年女性40097%儿童4045%总体84095% 左右由于儿童样本很少总体准确率仍然可能很高但对于真正的目标用户模型几乎不可用。因此模型评估不能只看一个数字还应分别检查不同年龄组不同性别不同受试者不同设备不同采集日期不同噪声环境不同佩戴位置不同实验阶段。常见的分组指标包括指标需要回答的问题Recall 召回率真正发生目标状态时有多少被识别出来False Negative Rate 漏报率目标状态出现时有多少被漏掉False Positive Rate 误报率没有目标状态时有多少被误判Precision 精确率模型给出的阳性结果中有多少是真的Calibration 校准性模型输出 80% 置信度时是否真的约有 80% 正确Worst-group Performance表现最差的用户群体到底有多差在健康监测和安全相关任务中最差群体的表现往往比平均准确率更值得关注。6. 数据集划分错误也可能制造“虚假高准确率”生理信号数据通常会被切成大量时间窗口。如果先切窗口再随机分配训练集和测试集同一名受试者的相邻数据可能同时出现在两边。例如受试者 S01 的第 150 个窗口 → 训练集 受试者 S01 的第 5160 个窗口 → 测试集这些窗口来自同一个人、同一设备、同一次实验波形特征非常相似。模型可能只是识别出了 S01 的个人特征而不是真正学会了疼痛、疲劳或压力规律。更严格的做法是按照受试者划分训练集 S01S15 验证集 S16S17 测试集 S18S20这类划分通常称为 Subject-wise Split按受试者划分。对于跨日期或跨设备研究还可以使用Session-wise Split按实验批次划分Device-wise Split按设备划分Leave-One-Subject-Out每次留一名受试者进行测试Cross-device Validation使用另一种硬件数据测试。跨次实验中的电极移动和基线变化会明显影响 EEG、EMG 等阵列式生理信号相关研究也在通过可解释的域适应方法降低电极偏移带来的性能下降。(arXiv)7. 可信 TinyML 的六道工程闸门欧盟可信 AI 指南将可信系统概括为Lawful、Ethical、Robust即合法、符合伦理并且足够稳健同时提出了人类监督、技术安全、隐私治理、透明性、公平性、社会与环境福祉、问责等七项要求。(数字战略欧盟)为了更方便用于 TinyML 项目可以把这些原则转化为六道工程闸门。7.1 第一关Purpose Gate——任务目的与边界项目开始前先回答模型要解决什么问题 模型明确不解决什么问题 输出会不会直接影响人的健康、安全或权益 模型出错时可能造成什么后果例如不够准确的表述更合理的任务边界识别一个人的真实情绪识别特定实验条件下的生理唤醒模式诊断疼痛估计与疼痛相关的生理信号变化判断用户是否患有心脏病提示 ECG 波形可能存在异常需要进一步检查自动决定刺激治疗强度为受限范围内的参数调整提供辅助信息任务边界决定了后续需要多严格的数据和安全验证。7.2 第二关Data Gate——数据覆盖与合法采集需要检查目标用户是否真正出现在训练数据中是否获得受试者知情同意是否只采集完成任务所必需的数据数据是否包含个人身份信息标签来源是否明确不同群体和真实使用场景是否得到覆盖数据保存多久由谁访问。建议在采集前制作一张覆盖矩阵覆盖维度已覆盖未覆盖或不足年龄范围成年人儿童、老年人环境安静室内户外、噪声环境设备设备 A设备 B、不同 ADC采集日期同一天跨日期个体数量20 人更大群体信号质量佩戴良好松动、运动伪迹状态强度低、中高强度或边界状态7.3 第三关Evaluation Gate——分组验证与防止数据泄漏模型测试至少应回答测试数据是否真正独立同一受试者的数据是否泄漏到训练集是否分别报告不同群体的表现是否测试不同噪声和佩戴条件是否分析漏报和误报而不只是准确率模型最差情况下会怎样对于生理信号项目建议同时报告总体指标 按受试者指标 按实验批次指标 按设备指标 最差受试者表现7.4 第四关Robustness Gate——不确定性与失效处理模型遇到陌生输入时不应被迫做出肯定判断。例如模型输出no_pain0.38 mild_pain0.35 moderate_pain0.27此时最合理的结果可能不是强行选择no_pain而是置信度不足 → 保持原状态 → 请求重新采集 → 提示用户检查传感器稳健性设计可以包括最低置信度阈值Unknown / Uncertain 类别信号质量检测电极脱落检测输入范围检测异常值和分布外输入检测通信中断后的安全状态模型失效后的规则回退方案。欧盟可信 AI 指南特别强调系统应具备安全性、可重复性和出现问题时的回退方案。(数字战略欧盟)7.5 第五关Human Gate——人类监督与最终控制权模型是否可以自动执行动作取决于风险等级。风险水平模型适合承担的角色低风险自动控制灯光、提示音或界面显示中等风险提供状态提醒由用户确认较高风险作为辅助输入必须经过人工或确定性程序检查安全关键不应作为唯一控制通道例如电刺激闭环系统不应采用模型预测疼痛升高 → 自动持续提高刺激强度更合理的结构是模型给出疼痛相关状态估计 → 确定性程序检查强度、频率、脉宽和持续时间上限 → 用户确认或控制器执行受限调整 → 保留硬件急停与超时关闭7.6 第六关Release Gate——发布、记录与责任归属发布模型或产品前需要明确谁负责采集数据谁负责模型训练和测试谁批准模型部署模型版本是什么使用了哪些数据版本适用范围和禁用范围是什么出现误判后由谁处理用户如何反馈和申诉后续如何更新与重新验证。NIST AI Risk Management Framework 强调AI 风险管理应覆盖设计、开发、使用和评估的完整生命周期而不是只在发布前做一次检查。(NIST)建议为每个 TinyML 模型保存一份简化模型卡模型名称与版本 目标任务 训练数据来源 受试者和设备范围 数据划分方式 模型结构与量化方式 总体与分组性能 已知失效场景 适用范围 禁止用途 部署硬件 更新记录 责任人8. 端侧推理是否自动解决隐私问题TinyML 经常强调 On-device Inference端侧推理。它可以减少持续上传原始语音、图像或生理波形的需求因此通常有利于数据最小化。但“模型在 MCU 上运行”并不代表系统已经没有隐私风险。数据仍可能通过以下路径泄露VOFA 导出的 CSV 文件串口调试日志SD 卡或外部 FlashBLE / Wi-Fi 传输手机 App 同步云端备份公开 Edge Impulse 项目包含身份信息的文件名和标签固件中的测试样本。因此隐私保护应覆盖采集 → 本地缓存 → 无线传输 → 上位机保存 → 模型训练 → 项目共享 → 数据删除建议采用用S01、S02代替真实姓名将身份信息与信号数据分开保存只上传任务所需通道关闭不必要的原始数据日志对 BLE、Wi-Fi 和本地文件进行适当保护规定数据保存期限导出公开项目之前再次检查文件内容。9. Responsible AI License 能解决什么RAILResponsible AI License负责任 AI 许可证不仅规定模型或代码能否复制、修改和分发还通过 Behavioral-use Clauses行为用途条款限制某些有害应用。RAIL 官方说明这类许可证允许开发者对 AI 技术的特定使用方式作出限制并要求下游衍生版本继续遵守相关限制。(Responsible AI Licenses (RAIL))它可以帮助开发者明确哪些用途被允许哪些高风险用途被禁止衍生模型是否继续受到限制使用者需要承担哪些义务。但许可证不能替代数据质量检查安全测试公平性评估医学验证人类监督法律合规审查。当前 Edge Impulse 相关 Responsible AI License 已转至 Qualcomm 官方页面页面显示最近一次修订时间为 2026 年 2 月 17 日并列出了相应的禁止用途和使用限制。正式发布项目前应阅读当时有效的最新版本而不能仅依赖课程视频中的旧描述。(Edge Impulse)10. 与生理信号 TinyML 项目的联系本章不再重复 EEG、ECG、EMG、PPG、HRV、GSR / EDA 的采集和窗口化流程而是重点讨论每类信号中最容易被忽略的可信性风险。信号主要风险容易出现的错误结论建议控制措施EEG电极位置、眼电与肌电伪迹、个体差异把特定实验节律直接解释为思想或情绪明确任务边界跨受试者和跨次实验测试ECG标签专业性、波形质量、漏报风险把异常分类结果直接当成疾病诊断保留信号质量指标和人工复核EMG电极偏移、肌肉位置和动作习惯差异实验室动作准确率等同于真实控制可靠性跨日期、跨佩戴位置验证设置控制回退PPG运动伪迹、佩戴压力和光学测量差异低质量波形仍输出确定健康结论加入信号质量检测和无效窗口拒绝机制HRV窗口长度、心搏检测错误和个体基线差异单次 HRV 变化等同于压力或疾病使用个人基线记录窗口和心搏质量GSR / EDA非特异性、温度、汗液、运动和紧张干扰皮肤电升高就等同于疼痛增强结合实验阶段、个体基线和其他信号解释多模态融合数据量、隐私和推断能力增加信号越多就一定越准确进行消融实验只保留真正有价值的通道10.1 疼痛监测疼痛具有明显主观性。同样的 NRS 评分不同受试者可能对应不同的 EDA、HRV、PPG 或 EMG 表现。因此需要区分模型识别到疼痛相关生理变化与模型准确知道受试者真实疼痛程度二者并不等价。更稳妥的研究表述是建立生理信号特征与受试者自报告疼痛评分之间的统计或机器学习关联并评估其在未见受试者上的泛化能力。10.2 情绪和压力识别EDA、PPG、HRV、EEG 可以反映某些生理唤醒和自主神经变化但生理唤醒并不能唯一确定情绪类别。例如皮肤电升高可能来自疼痛紧张兴奋高温运动电极接触变化。因此模型输出更适合写成高唤醒状态 压力相关模式 实验刺激相关反应而不是直接断言用户“愤怒”“撒谎”或“害怕”。10.3 疲劳和运动状态识别疲劳模型如果用于普通运动记录偶尔误判可能影响不大如果用于驾驶、工业操作或康复控制漏报可能带来安全风险。此时应增加多窗口连续确认信号质量判断置信度阈值人工确认确定性安全规则不同受试者和真实环境测试。10.4 个性化并不等于放弃通用模型个体差异较大的生理信号项目可以采用群体通用模型 → 新用户短时间基线校准 → 使用少量个人数据适配 → 在本地持续监测漂移相关 PPG 与 EDA 压力检测研究提出了“通用模型—无标签用户适应—少量有标签微调”的三阶段框架用于处理新用户与训练群体之间的分布差异。(arXiv)但个性化过程仍需获得用户同意并明确个人数据是否上传、保存和用于更新群体模型。11. 一份可直接使用的可信 TinyML 检查表数据采集前是否明确了目标用户是否明确了模型不能完成的任务是否评估了误判可能造成的后果是否取得知情同意是否只采集必要数据是否规划了受试者、设备和场景覆盖范围模型训练前标签定义是否统一时间戳和实验事件是否对齐是否存在类别不平衡是否按照受试者划分数据集是否记录设备、日期和佩戴位置是否保留独立测试集模型评估时是否报告分组性能是否检查最差受试者表现是否测试不同噪声和信号质量是否同时分析误报和漏报是否检查模型置信度是否可信是否测试陌生用户和陌生设备部署到 MCU 前低置信度时系统如何处理传感器脱落时是否停止输出模型失败后是否有规则回退是否保留人工控制和急停原始数据是否被不必要地记录BLE、Wi-Fi 和上位机数据是否受到保护发布与维护时是否保存模型卡和版本记录是否说明适用与禁用场景是否检查平台许可证和模型许可证是否提供问题反馈机制更新模型后是否重新验证谁对最终输出和设备行为负责12. 关键概念解释概念通俗解释技术解释本章中的作用Sampling Bias采集的人不够有代表性训练样本分布与目标群体不一致解释语音南瓜无法识别儿童Measurement Bias测量方式带来系统性差异设备、安装和环境影响输入数据分布对跨设备生理信号项目很重要Label Bias答案本身可能不可靠标签定义、主观评分或时间对齐存在误差影响疼痛、情绪和疲劳任务Deployment Shift实验和实际使用不一样部署数据分布偏离训练数据导致实验室高准确率失效Data Leakage测试题提前被模型看到训练集和测试集存在同源或重复信息会虚高生理信号模型性能Subject-wise Split按人分训练和测试不同受试者分别进入不同数据集评估新用户泛化能力Fairness不同群体不应受到明显不公平影响比较子群体的误报、漏报和校准表现防止平均指标掩盖弱势群体Robustness环境变化后仍能可靠工作对噪声、异常输入和分布变化保持稳定决定真实部署可靠性Human Oversight人类保留最终控制权在高风险决策中加入人工确认或干预防止模型直接控制危险输出Accountability出问题后能找到责任主体明确开发、审核、部署和使用责任支持审计和产品维护RAIL对 AI 用途设置限制的许可证包含行为用途约束的 AI 许可证限制模型和服务的有害使用Model Card模型的使用说明书记录数据、指标、限制和适用范围提高透明性和可追踪性13. 本章案例复盘项目内容案例目标识别“trick or treat”并控制南瓜灯光和声音目标用户万圣节上门的儿童实际训练对象成年男性和成年女性主要失败儿童正常说话时无法稳定触发根本原因目标用户没有被训练数据充分覆盖暴露的风险采样偏差、部署偏移、分组性能缺失不足的指标只验证开发者样本没有单独评估儿童召回率改进方法增加儿童及不同环境数据按用户群体分别测试核心启发数据集应代表真实用户而不仅是方便找到的采集者这个案例可以浓缩为一句话模型不会理解开发者心中的目标用户它只能学习真正出现在数据集中的用户。14. 本章还不能解决的问题本章能够帮助建立可信 TinyML 的基本检查框架但仍不能直接解决每个项目需要多少受试者才足够。哪些人口学变量必须纳入分组分析。如何从统计学上证明不同群体表现公平。如何修正存在偏差的数据集。如何为疼痛、疲劳和情绪建立可靠金标准。如何实现正式的数据匿名化和访问控制系统。如何对模型进行攻击测试和安全认证。个性化模型如何避免保存过多敏感数据。哪些生理信号应用会被认定为医疗器械。特定国家或地区适用哪些隐私和医疗法规。RAIL 条款在具体司法辖区的法律效力。产品发生误判后如何界定法律责任。15. 本章总结本章最重要的收获不是记住若干抽象的 AI 伦理原则而是理解偏差通常从需求和数据阶段就已经开始形成。语音南瓜无法识别儿童并不是因为模型完全不会语音识别而是因为真正的目标用户没有出现在训练数据中。对于 TinyML 项目总体准确率也不能代表所有用户都能获得相同效果尤其是 EEG、ECG、EMG、PPG、HRV、GSR / EDA 等具有明显个体差异的生理信号。可信 TinyML 应通过任务边界、数据覆盖、分组评估、稳健性处理、人类监督和发布问责六道工程闸门把伦理原则落实为可以检查、测量和记录的开发流程。端侧推理和负责任 AI 许可证能够降低部分风险但不能替代可靠数据、真实场景测试、人工监督和严格验证。16. 参考资料资料名称类型链接与本章内容的关系Ethics Guidelines for Trustworthy AI欧盟官方指南欧盟官方页面提出合法、伦理、稳健三项基础以及七项可信 AI 要求。(数字战略欧盟)Assessment List for Trustworthy Artificial Intelligence欧盟官方评估工具ALTAI 官方页面将可信 AI 原则进一步转化为项目自评问题。(数字战略欧盟)AI Risk Management FrameworkNIST 官方框架NIST AI RMF用于建立覆盖设计、开发、使用和评估阶段的风险管理流程。(NIST)Responsible AI LicensesRAIL 官方资料RAIL 官方网站说明行为用途条款如何限制 AI 的不负责任和有害使用。(Responsible AI Licenses (RAIL))Responsible AI LicenseQualcomm / Edge Impulse 官方许可证Responsible AI License用于核查当前 Edge Impulse 相关资源的禁止用途和使用限制。(Edge Impulse)An Adaptive System for Wearable Devices to Detect Stress Using Physiological Signals学术论文论文页面讨论 PPG、EDA 压力检测中的个体差异、数据多样性、域偏移和个性化。(arXiv)Spatial Adaptation Layer: Interpretable Domain Adaptation for Biosignal Sensor Array Applications学术论文论文页面说明 EEG、EMG 等阵列信号中电极移动和跨次实验变化对泛化性能的影响。(arXiv)