机器学习与模式识别 第十章 逻辑回归2 考点压缩

第十章Logistic Regression (2) — Multi-Class Model Evaluation — 知识点笔记综合来源Lecture 10 PDF30页、课堂笔记CSDN占位图10.1 多分类 ⭐两种朴素方法方法策略分类器数量One-vs-Rest (OvR)每类一个二分类器该类 vs 其余K个One-vs-One (OvO)每对类一个二分类器K(K-1)/2个Softmax函数 ⭐⭐问题将K个分数(logits)a1,…,aKa_1,\ldots,a_Ka1​,…,aK​转为概率分布推导对任意两类i,jln⁡pipjai−aj\ln\frac{p_i}{p_j} a_i - a_jlnpj​pi​​ai​−aj​加上归一化约束∑kpk1\sum_k p_k 1∑k​pk​1pkeak∑j1Keaj— Softmax函数p_k \frac{e^{a_k}}{\sum_{j1}^{K} e^{a_j}} \quad \text{— Softmax函数}pk​∑j1K​eaj​eak​​— Softmax函数akwkTxa_k \mathbf{w}_k^T\mathbf{x}ak​wkT​x每类一个线性函数决策边界wiTxwjTx\mathbf{w}_i^T\mathbf{x} \mathbf{w}_j^T\mathbf{x}wiT​xwjT​x→(wi−wj)Tx0(\mathbf{w}_i-\mathbf{w}_j)^T\mathbf{x} 0(wi​−wj​)Tx010.2 混淆矩阵 ⭐预测0预测1实际0TN真阴性FP假阳性实际1FN假阴性TP真阳性混淆矩阵依赖于分类器 数据集 概率阈值10.3 评估指标 ⭐⭐Accuracy准确率AccuracyTPTNN\text{Accuracy} \frac{TP TN}{N}AccuracyNTPTN​陷阱类别极度不均衡时无效100封邮件5封垃圾→全预测非垃圾→准确率95%→但垃圾全漏Precision精确率/查准率⭐PrecisionTPTPFPTPP\text{Precision} \frac{TP}{TP FP} \frac{TP}{P}PrecisionTPFPTP​PTP​所有预测为正的样本中真正为正的比例。惩罚FP。Recall召回率/查全率⭐RecallTPTPFNTPActual 1s\text{Recall} \frac{TP}{TP FN} \frac{TP}{\text{Actual 1s}}RecallTPFNTP​Actual 1sTP​所有真正为正的样本中被正确检出的比例。惩罚FN。Precision vs Recall 权衡阈值PrecisionRecallTPFP升高↑↓不变或↓↓降低↓↑↑↑Precision和Recall通常负相关→需权衡FP和FN可能有不同的代价→需根据业务调整F1 Score ⭐F12×Precision×RecallPrecisionRecallF_1 \frac{2 \times \text{Precision} \times \text{Recall}}{\text{Precision} \text{Recall}}F1​PrecisionRecall2×Precision×Recall​Precision和Recall的调和平均数适用于类别不均衡场景选择使F1最大的阈值FPR和TPR指标公式含义FPR假阳性率FPTNFP\frac{FP}{TNFP}TNFPFP​实际为0中被错误预测为1的比例越低越好TPR真阳性率RecallTPTPFN\frac{TP}{TPFN}TPFNTP​实际为1中被正确检出的比例越高越好10.4 ROC曲线与AUC ⭐ROC曲线横轴FPR假阳性率 | 纵轴TPR真阳性率不同阈值→不同(FPR, TPR)点→连成ROC曲线阈值低→FPR高TPR高 | 阈值高→FPR低TPR低左上角(0,1)→完美分类器AUCArea Under CurveAUC1完美分类器AUC0.5随机猜测真实分类器AUC在0.5~1之间AUC不依赖具体阈值→衡量分类器的整体排序能力10.5 阈值选择策略遍历阈值法训练模型→对验证集预测概率对T0.01, 0.02, …, 0.99概率转0/1预测→计算指标选使目标指标最优的T选择标准一般任务→最大化F1或Accuracy不等代价→最小化期望损失结合损失矩阵笔记中的图片索引序号图片内容描述来源位置图1One-vs-Rest vs One-vs-One对比Lecture 10 第4页图2混淆矩阵示意图Lecture 10 第9页图3阈值对TP的影响Lecture 10 第15页图4Precision-Recall曲线Lecture 10 第21页图5ROC曲线与AUCLecture 10 第25-27页笔记整理时间2026年6月28日