WESAD数据集实战：从多模态生理信号到压力与情绪识别的端到端流程

1. WESAD数据集概述与核心挑战WESADWearable Stress and Affect Detection是目前最完善的可穿戴设备多模态生理信号数据集之一由德国Siegen大学团队于2018年发布。这个数据集最大的特点是同时采集了胸部RespiBAN和腕部Empatica E4两组设备的生理信号包含15名受试者在基线、压力、愉悦和冥想四种状态下的数据。我首次接触这个数据集时最惊讶的是它的数据规模——原始数据解压后达到16.4GB包含超过6300万个数据点。但更让人头疼的是两组设备的采样率差异胸部设备的ECG信号高达700Hz而腕部的皮肤电信号只有4Hz。这种多模态、多采样率的特性既是其价值所在也是工程实践中的首要挑战。数据集中的每个受试者目录包含SX.pkl预处理后的Python字典包含同步后的原始信号和标签SX_E4_Data.zipEmpatica E4设备的原始CSV文件SX_quest.csv实验阶段时间戳和问卷结果关键细节官方文档特别强调label数组的采样率为700Hz且时间基准以胸部设备开始录制的时刻为原点。这个细节在后续的信号同步和标签对齐中至关重要我曾在早期项目中因忽略这点导致所有预测结果出现系统性偏移。2. 数据加载与初步探索2.1 解析pickle文件WESAD的核心数据存储在.pkl文件中使用Python的pickle模块加载时需要注意版本兼容性问题。以下是经过实战检验的加载代码import pickle import numpy as np def load_wesad_pkl(subject_path): with open(subject_path, rb) as f: try: data pickle.load(f, encodinglatin1) # 处理Python2保存的数据 except: data pickle.load(f) # Python3情况 # 验证数据结构 assert signal in data and label in data assert data[signal][chest][ECG].shape[0] data[label].shape[0] return data加载后的数据结构如下{ subject: S2, # 受试者ID label: np.array([1,1,1,2,2,...]), # 700Hz的标签序列 signal: { chest: { # RespiBAN数据全部700Hz ACC: np.ndarray, # 三轴加速度 ECG: np.ndarray, # 心电 EMG: np.ndarray, # 肌电 EDA: np.ndarray, # 皮肤电 Temp: np.ndarray, # 体温 Resp: np.ndarray # 呼吸 }, wrist: { # Empatica E4数据不同采样率 BVP: np.ndarray, # 血容量脉搏64Hz EDA: np.ndarray, # 皮肤电4Hz TEMP: np.ndarray, # 体温4Hz ACC: np.ndarray # 加速度32Hz } } }2.2 理解标签体系标签数组中的数值对应不同实验阶段0过渡期应忽略1基线baseline2压力TSST测试3愉悦观看搞笑视频4冥想实践建议虽然官方提供了4种有效标签但在实际建模时我建议先聚焦于压力检测标签2 vs 其他这个二分类问题。这样不仅可以简化问题也更符合大多数应用场景的需求。3. 多模态信号预处理3.1 重采样与同步不同采样率的信号需要统一到相同频率。我的经验是选择128Hz作为目标频率这个数值既能保留足够信息又不会导致计算量过大。以下是关键步骤from scipy import signal def resample_chest_data(original_data, original_fs700, target_fs128): num_samples int(len(original_data) * target_fs / original_fs) resampled signal.resample(original_data, num_samples) return resampled def resample_wrist_data(original_data, original_fs, target_fs128): # Empatica E4数据需要先插值再重采样 x_original np.arange(len(original_data)) / original_fs x_new np.arange(0, x_original[-1], 1/target_fs) interpolated np.interp(x_new, x_original, original_data) return interpolated注意点腕部设备的EDA信号只有4Hz直接重采样会导致严重失真。我的解决方案是先进行线性插值将采样率提升到32Hz后再进行抗混叠重采样。3.2 信号滤波与去噪不同生理信号需要特定的滤波处理ECG0.5-40Hz带通滤波去除基线漂移和高频噪声EDA1Hz低通滤波保留慢变成分BVP0.5-5Hz带通滤波聚焦脉搏波频率from scipy.signal import butter, filtfilt def butter_bandpass_filter(data, lowcut, highcut, fs, order4): nyq 0.5 * fs low lowcut / nyq high highcut / nyq b, a butter(order, [low, high], btypeband) y filtfilt(b, a, data) return y踩坑记录早期项目中使用普通的lfilter会导致相位偏移后来改用零相位滤波filtfilt才解决这个问题。此外滤波器的阶数不宜过高否则会引入数值不稳定。4. 特征工程与数据增强4.1 时域特征提取对于每个信号窗口我通常用60秒长度10秒步长可以提取以下特征均值/方差信号强度指标峰度/偏度信号分布特性过零率信号变化频率Hjorth参数活动性和复杂性度量def extract_time_features(signal_window): features { mean: np.mean(signal_window), std: np.std(signal_window), kurtosis: scipy.stats.kurtosis(signal_window), zero_crossing: ((signal_window[:-1] * signal_window[1:]) 0).sum() } return features4.2 频域特征提取通过FFT变换获取频谱特征def extract_freq_features(signal_window, fs128): n len(signal_window) fft_vals np.fft.rfft(signal_window) fft_freq np.fft.rfftfreq(n, 1.0/fs) features { spectral_energy: np.sum(fft_vals**2), spectral_entropy: scipy.stats.entropy(np.abs(fft_vals)), peak_freq: fft_freq[np.argmax(np.abs(fft_vals))] } return features创新技巧对于EDA信号我特别关注0.045-0.25Hz范围内的频谱能量对应交感神经活动。这个频段的特征在压力检测中表现出很好的区分度。4.3 数据增强策略生理信号的数据增强需要保持其时间相关性时间扭曲轻微拉伸或压缩时间轴5%加性噪声添加高斯白噪声SNR20dB通道交换对于三轴加速度数据随机置换轴顺序def time_warp(signal, factor0.05): old_length len(signal) new_length int(old_length * (1 random.uniform(-factor, factor))) x_old np.linspace(0, 1, old_length) x_new np.linspace(0, 1, new_length) return np.interp(x_new, x_old, signal)5. 模型构建与训练5.1 基于LSTM的时序建模LSTM非常适合处理生理信号的时间依赖性。我的基准模型结构如下from tensorflow.keras.models import Sequential from tensorflow.keras.layers import LSTM, Dense, Dropout def build_lstm_model(input_shape, num_classes): model Sequential([ LSTM(64, return_sequencesTrue, input_shapeinput_shape), Dropout(0.3), LSTM(32), Dropout(0.3), Dense(num_classes, activationsoftmax) ]) model.compile(losssparse_categorical_crossentropy, optimizeradam, metrics[accuracy]) return model调参经验使用双向LSTM能提升约2-3%的准确率但会增加50%的计算量。对于实时应用我通常选择单向LSTM以平衡性能和效率。5.2 多模态融合策略处理胸部/腕部数据的不同采样率时我采用分层融合策略分别对每组设备数据建立特征提取层在中间层进行特征拼接最后接全连接分类器from tensorflow.keras.layers import Input, Concatenate from tensorflow.keras.models import Model # 胸部数据分支 chest_input Input(shape(None, 6)) # 6个胸部信号 chest_features LSTM(32)(chest_input) # 腕部数据分支 wrist_input Input(shape(None, 4)) # 4个腕部信号 wrist_features LSTM(32)(wrist_input) # 融合层 merged Concatenate()([chest_features, wrist_features]) output Dense(4, activationsoftmax)(merged) model Model(inputs[chest_input, wrist_input], outputsoutput)5.3 基于Transformer的现代架构最近我在项目中尝试了Transformer架构取得了比LSTM更好的效果from tensorflow.keras.layers import MultiHeadAttention, LayerNormalization def transformer_encoder(inputs, head_size, num_heads, ff_dim, dropout0): # 自注意力机制 x MultiHeadAttention( key_dimhead_size, num_headsnum_heads, dropoutdropout )(inputs, inputs) x LayerNormalization(epsilon1e-6)(x) # 前馈网络 x Dense(ff_dim, activationrelu)(x) x Dense(inputs.shape[-1])(x) return LayerNormalization(epsilon1e-6)(x)性能对比在相同数据量下Transformer模型比LSTM的F1-score高出约5%但训练时间增加了2倍。对于资源受限的场景可以考虑使用轻量化的Temporal Convolutional NetworkTCN。6. 评估与部署考量6.1 交叉验证策略由于WESAD只有15名受试者我采用leave-one-subject-outLOSO交叉验证每次留1人作为测试集剩余14人用于训练重复15次取平均性能这种策略能真实反映模型的泛化能力避免受试者间差异带来的偏差。6.2 实时推理优化将模型部署到移动设备时需要考虑量化将FP32模型转为INT8体积减少75%剪枝移除权重小于阈值的连接硬件加速使用TensorFlow Lite的GPU/NPU委托converter tf.lite.TFLiteConverter.from_keras_model(model) converter.optimizations [tf.lite.Optimize.DEFAULT] tflite_model converter.convert() with open(stress_detector.tflite, wb) as f: f.write(tflite_model)实测数据经过优化的模型在Pixel 6手机上仅需8ms即可完成一次推理完全满足实时监测的需求。